TWI687088B - 適應***錯影像捲繞的方法、系統以及記錄媒體 - Google Patents

適應***錯影像捲繞的方法、系統以及記錄媒體 Download PDF

Info

Publication number
TWI687088B
TWI687088B TW107140690A TW107140690A TWI687088B TW I687088 B TWI687088 B TW I687088B TW 107140690 A TW107140690 A TW 107140690A TW 107140690 A TW107140690 A TW 107140690A TW I687088 B TWI687088 B TW I687088B
Authority
TW
Taiwan
Prior art keywords
resolution
display
frame
image
computing device
Prior art date
Application number
TW107140690A
Other languages
English (en)
Other versions
TW201924327A (zh
Inventor
陳俊霖
溫予佑
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201924327A publication Critical patent/TW201924327A/zh
Application granted granted Critical
Publication of TWI687088B publication Critical patent/TWI687088B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

一種適應***錯影像捲繞的方法、系統及記錄媒體。所述方法適用於具有頭戴式裝置和計算裝置的顯示系統。在所述方法中,計算裝置根據圖框率生成待顯示在頭戴式裝置上的多個影像圖框,其中所生成待在相同時間點顯示在第一及第二顯示器上的影像圖框包括具有第一解析度的第一圖框及具有第二解析度的第二圖框,所述第二解析度低於第一解析度。將所生成的影像圖框從計算裝置傳遞到頭戴式裝置。頭戴式裝置將影像圖框中具有第二解析度的第二圖框恢復到第一及第二顯示器的正常解析度,且將第一圖框及所恢復第二圖框交錯顯示在第一及第二顯示器上。

Description

適應***錯影像捲繞的方法、系統以及記錄媒體
本發明是有關於一種虛擬實境的方法和系統,且特別是有關於一種適應***錯影像捲繞的方法、系統以及記錄媒體。
虛擬實境(virtual reality;VR)是一種使用電腦模擬技術在三維(three-dimensional;3D)空間中產生虛擬世界的技術。虛擬世界由電腦圖形構成且通過在由使用者穿戴的頭戴式裝置(head-mounted display;HMD)上顯示圖框並與設置在使用者身體上或設置在使用者身體周圍的感測器合作,提供主要基於與聽覺和觸覺的感知合作的可視感知的人工環境。在體驗VR時,使用者不僅具有沈浸可視感知的虛擬世界中的感覺,而且還可在虛擬世界中做動作,或甚至如同在現實世界中一樣與虛擬世界中的物體互動。
為了產生使用者的完全沈浸環境,需要提高影像解析度。因為對影像解析度的要求變得越來越高,所以用以繪製影像圖框的計算裝置的計算負載量增加,且待從計算裝置傳輸到HMD的影像圖框的資料大小也增加。最終,減小資料大小和計算負載量以在保持影像品質的同時防止資料傳輸延遲可能具有挑戰性且不現實。
本申請提出一種適應***錯圖像捲繞的方法、系統以及記錄媒體,其在相同時間點交錯生成具有不同解析度的用於左眼和用於右眼的影像圖框,以便減小影像圖框的資料大小。
本申請提供一種適應***錯影像捲繞方法,其適用於具有頭戴式裝置(HMD)和計算裝置的顯示系統。HMD包含用於左眼的第一顯示器和用於右眼的第二顯示器。在所述方法中,計算裝置根據圖框率生成待顯示在HMD上的多個影像圖框,其中所生成待在相同時間點顯示在第一顯示器和第二顯示器上的影像圖框包括具有第一解析度的第一圖框和具有第二解析度的第二圖框,所述第二分解析度低於第一解析度。將所生成的影像圖框從計算裝置傳遞到HMD。HMD將影像圖框中具有第二解析度的第二圖框恢復到第一顯示器和第二顯示器的正常解析度,且隨後將第一圖框和所恢復第二圖框交錯顯示在第一顯示器和第二顯示器上。
在本申請的實施例中,所生成待在下一時間點顯示在第一顯示器和第二顯示器上的第一圖框和第二圖框被切換。
在本申請的實施例中,所述方法更包含通過計算裝置檢測計算裝置的計算負載量,以及根據檢測到的計算負載量適應性地調整第二解析度。
在本申請的實施例中,所述方法更包含通過計算裝置檢測用於傳遞所生成的影像圖框的傳輸頻寬,以及根據檢測到的傳輸頻寬適應性地調整第二解析度。
在本申請的實施例中,所述方法更包含通過計算裝置檢測穿戴HMD的使用者的移動速度,以及根據檢測到的移動速度適應性地調整第二解析度。
在本申請的實施例中,所述方法更包含通過計算裝置分析待生成的影像圖框中的影像內容以檢測影像內容的視野(field of view;FOV)的移動速度,以及根據檢測到的移動速度適應性地調整第二解析度。
在本申請的實施例中,根據檢測到的移動速度適應性地調整第二解析度的步驟包含:如果檢測到的移動速度超過第一閾值,降低第二解析度。
在本申請的實施例中,第一解析度是第一顯示器和第二顯示器的正常解析度。
在本申請的實施例中,所述方法更包含:如果第一解析度不等於正常解析度,將具有第一解析度的第一圖框恢復到正常解析度;以及通過HMD將所恢復第一圖框和第二圖框交錯顯示在第一顯示器和第二顯示器上。
本申請提供一種適應***錯影像捲繞的顯示系統,所述顯示系統包含計算裝置和HMD。HMD連接到計算裝置且包含用於左眼的第一顯示器和用於右眼的第二顯示器。計算裝置經配置以根據圖框率生成待顯示在HMD上的多個影像圖框,其中所生成待在相同時間點顯示在第一顯示器和第二顯示器上的影像圖框包括具有第一解析度的第一圖框和具有第二解析度的第二圖框,所述第二解析度低於第一解析度。計算裝置經配置以將所生成的影像圖框傳遞到HMD。HMD經配置以將影像圖框中具有第二解析度的第二圖框恢復到第一顯示器和第二顯示器的正常解析度,且將第一圖框和所恢復第二圖框交錯顯示在第一顯示器和第二顯示器上。
在本申請的實施例中,所生成待在下一時間點顯示在第一顯示器和第二顯示器上的所生成第一圖框和第二圖框被切換。
在本申請的實施例中,計算裝置更經配置以檢測計算裝置的計算負載量,以及根據檢測到的計算負載量適應性地調整第二解析度。
在本申請的實施例中,計算裝置更經配置以檢測傳遞所生成的影像圖框的傳輸頻寬,以及根據檢測到的傳輸頻寬適應性地調整第二解析度。
在本申請的實施例中,顯示系統更包含***,所述***定位穿戴HMD的使用者且經配置以追蹤穿戴HMD的使用者的移動速度。計算裝置經配置以通過網路與***連接、檢測使用者的移動速度以及根據檢測到的移動速度適應性地調整第二解析度。
在本申請的實施例中,HMD包含運動感測器,所述運動感測器經配置以追蹤穿戴HMD的使用者的移動速度。計算裝置經配置以檢測使用者的移動速度,且經配置以根據檢測到的移動速度適應性地調整第二解析度。
在本申請的實施例中,計算裝置進一步經配置以分析待生成的影像圖框中的影像內容以檢測影像內容的視野(FOV)的移動速度,且經配置以根據檢測到的移動速度適應性地調整第二解析度。
在本申請的實施例中,計算裝置更包含:如果檢測到的移動速度超過第一閾值,降低第二解析度。
在本申請的實施例中,第一解析度為第一顯示器和第二顯示器的正常解析度。
在本申請的實施例中,HMD更包括:如果第一解析度不等於正常解析度,將具有第一解析度的第一圖框恢復到正常解析度,且將所恢復第一圖框和第二圖框交錯顯示在第一顯示器和第二顯示器上。
本申請提供一種非暫時性電腦可讀取記錄媒體,其經配置以記錄程式,其中程式通過計算裝置中的處理器載入以執行以下步驟。計算裝置根據圖框率生成待顯示在HMD上的多個影像圖框,其中所生成待在相同時間點顯示在第一顯示器和第二顯示器上的影像圖框包括具有第一解析度的第一圖框和具有第二解析度的第二圖框,所述第二解析度低於第一解析度。將所生成的影像圖框從計算裝置傳遞到HMD。HMD將影像圖框中具有第二解析度的第二圖框恢復到第一顯示器和第二顯示器的正常解析度,且HMD將第一圖框和所恢復第二圖框交錯顯示在第一顯示器和第二顯示器上。
根據以上描述,在本申請的適應***錯影像捲繞的方法、系統以及記錄媒體中,影像圖框被交錯地顯示,其中待在相同時間點顯示的影像圖框中的至少一個的總像素數減小,以在保持影像圖框的品質的同時減小計算裝置的計算負載量和用於傳輸的資料大小。因此,可在不降低影像品質的情況下保留觀看體驗。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
根據本申請,計算裝置生成待顯示在頭戴式裝置(HMD)上的多個影像圖框。待在相同時間點顯示的用於左眼和右眼的影像圖框是以不同解析度生成,所述解析度中的一個高於另一個,使得待由計算裝置生成的影像圖框的總像素數和待傳遞到HMD的資料大小可減小。在將影像圖框傳遞到HMD之後,HMD將具有減小解析度的影像圖框恢復到HMD的正常解析度,且將所恢復的影像圖框和原先具有正常解析度的影像圖框交錯地顯示。因此,可保留使用者的觀看體驗。
圖1是根據本申請的實施例的顯示系統的框圖。參考圖1,本發明實施例的顯示系統100包含計算裝置110和頭戴式裝置(HMD)120,且其功能在下文描述。
計算裝置110可為例如檔案伺服器、資料庫伺服器、應用程式伺服器、工作站、個人電腦或具有計算能力的筆記型電腦且包含處理器。處理器例如為中央處理單元(central processing unit;CPU)、圖形處理單元(graphics processing unit;GPU)或通用或專用的任何其它可程式化的微處理器、數位訊號處理器(digital signal processor;DSP)、可程式設計控制器、特殊應用積體電路(application specific integrated circuit;ASIC)、可程式設計邏輯裝置(programmable logic device;PLD)、或其它類似裝置、或這些裝置的組合。
HMD 120例如為液晶顯示器(liquid-crystal display;LCD)、發光二極體(light-emitting diode;LED)顯示器或其它合適類型的顯示器,其以頭盔或鏡片形式製造供使用者穿戴於頭上。在本發明實施例中,HMD 120連接到計算裝置110,且包含用於左眼的第一顯示器121和用於右眼的第二顯示器122。
應提及的是,在一實施例中,計算裝置110與HMD 120分開設置,且以有線或無線方式連接到HMD 120以供資料傳輸。在另一實施例中,計算裝置也可集成在HMD 120中,且與HMD 120通過傳輸線連接以供資料傳輸,此不受本申請限制。本申請的適應***錯影像捲繞的方法的詳細步驟在下文描述。
圖2是示出根據本申請的實施例的適應***錯影像捲繞的方法的流程圖。參考圖2,本發明實施例的方法適用於圖1的顯示系統100,參考顯示系統100的各種元件在下文描述本申請的適應***錯影像捲繞的方法的詳細步驟。
首先,計算裝置110根據圖框率生成待顯示在HMD 120上的多個影像圖框(步驟S202)。詳細地說,所生成待在相同時間點顯示在第一顯示器121和第二顯示器122上的影像圖框例如包含具有第一解析度的第一圖框和具有第二解析度的第二圖框,所述第二解析度低於第一解析度。另外,計算裝置110切換待在下一時間點顯示在第一顯示器和第二顯示器上的第一圖框和第二圖框。
舉例來說,圖3A和圖3B示出根據本申請的實施例的在顯示系統中生成的影像圖框的實例。圖3A分別示出通過計算裝置110所生成待在相同時間點顯示在第一顯示器121和第二顯示器122上的影像圖框310和影像圖框320。
參考圖3A,所生成待顯示在第一顯示器121上的影像圖框310具有第一解析度,且所生成待顯示在第二顯示器122上的影像圖框320具有低於第一解析度的第二解析度。在本發明實施例中,計算裝置110生成具有較低解析度的影像圖框320,以便減小影像圖框320的資料大小。
在本實施例中,第一解析度等於第一顯示器121和第二顯示器122的正常解析度。然而,在另一實施例中,影像圖框310的第一解析度也可低於第一顯示器121和第二顯示器122的正常解析度。在此情況下,舉例來說,計算裝置110也減小影像圖框310的資料大小。
在另一實施例中,計算裝置110可通過應用技術進一步減小計算裝置的計算負載量,來生成具有較低解析度的影像圖框,如簡化的解析度減小、具有色調的Y通道、交錯繪製的圖框或格紋繪製的影像,此不受本申請限制。
圖3B分別示出所生成待在圖3A的時間點的下一時間點顯示在第一顯示器121和第二顯示器122上的影像圖框330和影像圖框340,且分別生成具有第二解析度和第一解析度的影像圖框330和影像圖框340。也就是說,計算裝置110生成待顯示在第二顯示器122上的具有第一解析度的影像圖框340,且生成待顯示在第一顯示器121上的具有低於第一解析度的第二解析度的影像圖框330。
回到圖2中的流程圖,在生成影像圖框之後,計算裝置110將所生成的影像傳遞到HMD 120(步驟S204)。隨後,HMD 120將影像圖框中具有第二解析度的第二圖框恢復到第一顯示器121和第二顯示器122的正常解析度(步驟S206)。
參考圖3A,HMD 120通過放大影像圖框320來將影像圖框320恢復到正常解析度,以便生成具有第二顯示器122的正常解析度的所恢復影像圖框(未示出)。參考圖3B,HMD 120通過放大影像圖框330來將影像圖框330恢復到正常解析度,以便生成具有第一顯示器121的正常解析度的所恢復影像圖框(未示出)。例如,HMD 120可通過最鄰近內插(Nearest Neighbor Interpolation)、雙線性內插(Bilinear Interpolation)或雙立方內插(Bicubic Interpolation)等應用內插方法,來將影像圖框放大到第一顯示器121和第二顯示器122的正常解析度,此不受本申請限制。
在另一實施例中,如果影像圖框310和影像圖框340的第一解析度也通過計算裝置110減小,HMD 120可通過分別放大影像圖框310和影像圖框340將具有第一解析度的影像圖框310和影像圖框340進一步恢復到正常解析度。
最後,HMD 120將第一圖框和所恢復第二圖框交錯地顯示在第一顯示器121和第二顯示器122上(步驟S208)。也就是說,HMD 120將具有等於正常解析度的第一解析度的第一圖框和具有正常解析度的所恢復第二圖框在相同時間點分別顯示在第一顯示器121和第二顯示器122上,且隨後將具有第一解析度的第一圖框和具有正常解析度的所恢復第二圖框在下一時間點分別顯示在第二顯示器122和第一顯示器121上。因為第一圖框和所恢復第二圖框在第一顯示器121和第二顯示器122上交錯,所以可實現類似於觀看初始全解析度圖框的觀看體驗。
舉例來說,圖4示出根據本申請的實施例的交錯顯示影像圖框的實例。參考圖4,多個影像圖框經生成且在不同時間點顯示在第一顯示器121和第二顯示器122上。在時間點t0時,HMD 120將具有等於第一顯示器121的正常解析度的第一解析度的影像圖框410顯示在第一顯示器121上,且將具有正常解析度的從具有第二解析度的影像圖框420恢復的經恢復影像圖框420r顯示在第二顯示器122上。在下一時間點t1時,HMD 120將具有第一解析度的影像圖框440顯示在第二顯示器122,且將具有正常解析度的從具有第二解析度的影像圖框430恢復的經恢復影像圖框430r顯示在第一顯示器121上。在時間點t2時,HMD 120將具有第一解析度的影像圖框450顯示在第一顯示器121上,且將具有正常解析度的從具有第二解析度的影像圖框460恢復的經恢復影像圖框460r顯示在第二顯示器122上。在時間點t3時,HMD 120將具有第一解析度的影像圖框480顯示在第二顯示器122上,且將具有正常解析度的從具有第二解析度的影像圖框470恢復的經恢復影像圖框470r顯示在第一顯示器121上。HMD 120可以如以上所示的交錯方式持續顯示影像圖框和經恢復影像圖框。
基於上述,由於HMD 120為不同眼睛交錯顯示經恢復影像圖框和具有正常解析度的影像圖框,所以即使計算裝置生成具有不同解析度的影像圖框,且所述解析度中的一個高於另一以供減小資料大小,仍可實現類似於觀看初始全解析度圖框的觀看體驗。
另外,基於通過計算裝置110和HMD 120檢測到的不同狀態,計算裝置110可將影像圖框適應性地調整到不同解析度。在一個實施例中,可同時調整第一解析度和第二解析度。然而,在另一實施例中,計算裝置110可檢測本身計算的負載量且根據檢測到的計算負載量適應性地調整第二解析度(即較低解析度)。即,在如GPU計算負載量的計算負載量高時,計算裝置110可進一步降低第二解析度。在又一實施例中,計算裝置110可檢測用於傳遞所生成的影像圖框的傳輸頻寬且根據傳輸頻寬適應性地調整第二解析度,以便減小待傳遞的資料大小並防止資料傳輸延遲。
在一個實施例中,因為使用者在進行快速移動時可能未注意影像品質的降低,所以可適應性地降低待生成的影像圖框的解析度同時仍可保留使用者的觀看體驗。因此,計算裝置110可進一步檢測穿戴HMD 120的使用者的移動速度,以便適應性地調整影像圖框的解析度。
詳細地說,參考圖1,顯示系統100可更包含至少一個***(未示出),所述***定位穿戴HMD 120的使用者的位置且追蹤使用者的移動速度。***包含例如雷射器或紅外線(infrared;IR)發射器和接收器,採用所述***以在三維(3D)空間中檢測目標的距離,且與配置於目標(例如HMD 120)上的多個校準器合作,可定位目標在3D空間中的位置。所述***可設置在使用者的活動空間的角落,所述***不僅用以定位使用者在3D空間中的位置而且也用以界定活動空間的邊界。計算裝置110可通過有線或無線方式與***連接以供資料傳輸。因此,計算裝置110可根據通過***檢測到的移動速度適應性地調整待生成的影像圖框的解析度。
在另一實施例中,計算裝置110可通過使用運動感測器檢測和追蹤使用者的移動速度。詳細地說,參考圖1,HMD 120可更包含運動感測器(未示出),如重力感測器或陀螺儀感測器,所述運動感測器追蹤穿戴HMD 120的使用者的移動速度。運動感測器能夠檢測頭部旋轉或使用者頭部的傾角且將頭部旋轉或使用者頭部的傾角回饋到計算裝置110,以使得計算裝置110可根據通過運動感測器檢測到的移動速度適應性地調整待生成的影像圖框的解析度。
在一個實施例中,代替檢測使用者的移動速度,計算裝置110可分析影像圖框的影像內容以直接地檢測影像內容的視野(FOV)的移動速度,以便根據檢測到的移動速度調整待生成的影像圖框的解析度。另外,因為使用者可能未注意極快移動影像內容中的影像品質的降低,所以可適應性地降低待生成的影像圖框的解析度同時仍可保留使用者的觀看體驗。
詳細地說,圖5是示出根據本申請的實施例的適應性地調整影像圖框的解析度的方法的流程圖。在本發明實施例中,計算裝置110根據待生成的影像圖框中的影像內容的FOV的移動速度調整影像圖框的解析度。
參考圖5,計算裝置110分析待生成的影像圖框中的影像內容,以檢測影像內容的FOV的移動速度(步驟S502)。隨後計算裝置110根據檢測到的移動速度適應性地調整第二解析度。詳細地說,計算裝置110確定檢測到的移動速度是否超過第一閾值(步驟S504)。如果檢測到的移動速度超過第一閾值(在步驟S504中為是),此意味著影像內容改變太快而不能被使用者注意到,計算裝置110可降低第二解析度(步驟S506),以便進一步減小待生成的影像圖框的資料大小。否則,如果檢測到的移動速度不超過第二閾值(在步驟S504中為否),計算裝置110可保持第二解析度以便保留觀看體驗,並持續分析影像內容(步驟S502)以確定是否改變第二解析度。
另外,除在相同時間點適應性地調整用於左眼和右眼的影像圖框中的一個的解析度之外,計算裝置110更可適應性地調整兩個影像圖框的解析度。也就是說,計算裝置110可生成具有第一解析度的第一圖框和具有低於第一解析度的第二解析度的第二圖框,所述第一圖框和第二圖框待在相同時間點顯示在第一顯示器121和第二顯示器122上,第一解析度和第二解析度皆小於第一顯示器121和第二顯示器122的正常解析度。
在從計算裝置110接收影像圖框時,除將影像圖框中具有第二解析度的第二圖框恢復到第一顯示器121和第二顯示器122的正常解析度之外,HMD 120更可確定第一圖框的第一解析度是否等於第一顯示器121和第二顯示器122的正常解析度,且如果第一解析度不等於正常解析度,將具有第一解析度的第一圖框恢復到正常解析度。因此,HMD 120可將所恢復的第一圖框和第二圖框交錯顯示在第一顯示器和第二顯示器上,以便保留觀看體驗同時減小影像圖框的資料大小。
本發明進一步提供一種非暫時性電腦可讀記錄媒體,其經配置以記錄通過計算裝置中的處理器載入以執行適應***錯影像捲繞的方法的每一步驟的程式。電腦程式由多個程式部分(例如,構造組織圖式程式部分,批准清單程式部分,設置程式部分以及部署程式部分等)構成。在程式部分載入到處理器中且被執行之後,可完成適應***錯影像捲繞的方法的步驟。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧顯示系統110‧‧‧計算裝置120‧‧‧頭戴式裝置121‧‧‧第一顯示器122‧‧‧第二顯示器310、320、330、340、410、420、420r、430、430r、440、450、460、460r、470、470r、480‧‧‧影像圖框S202、S204、S206、S208、S502、S504、S506‧‧‧步驟t0、t1、t2、t3‧‧‧時間點
圖1是根據本申請的實施例的顯示系統的框圖。 圖2是示出根據本申請的實施例的適應***錯影像捲繞的方法的流程圖。 圖3A和圖3B示出根據本申請的實施例的在顯示系統中生成的影像圖框的實例。 圖4示出根據本申請的實施例的交錯顯示影像圖框的實例。 圖5是示出根據本申請的實施例的適應性地調整影像圖框的解析度的方法的流程圖。
S202~S208‧‧‧步驟

Claims (20)

  1. 一種適應***錯影像捲繞方法,適用於具有頭戴式裝置(HMD)以及計算裝置的顯示系統,其中所述頭戴式裝置包括用於左眼的第一顯示器以及用於右眼的第二顯示器,所述方法包括: 通過所述計算裝置根據圖框率生成待顯示在所述頭戴式裝置上的多個影像圖框,其中所生成待在相同時間點顯示在所述第一顯示器以及所述第二顯示器上的所述影像圖框包括具有第一解析度的第一圖框以及具有第二解析度的第二圖框,所述第二解析度低於所述第一解析度; 將所述所生成的影像圖框從所述計算裝置傳遞到所述頭戴式裝置; 通過所述頭戴式裝置將所述影像圖框中具有所述第二解析度的所述第二圖框恢復到所述第一顯示器以及所述第二顯示器的正常解析度;以及 通過所述頭戴式裝置將所述第一圖框以及所述所恢復第二圖框交錯顯示在所述第一顯示器以及所述第二顯示器上。
  2. 如申請專利範圍第1項所述的適應***錯影像捲繞方法,其中所生成待在下一時間點顯示在所述第一顯示器以及所述第二顯示器上的所述第一圖框以及所述第二圖框被切換。
  3. 如申請專利範圍第1項所述的適應***錯影像捲繞方法,更包括: 通過所述計算裝置檢測所述計算裝置的計算負載量;以及 根據所述檢測到的計算負載量適應性地調整所述第二解析度。
  4. 如申請專利範圍第1項所述的適應***錯影像捲繞方法,更包括: 通過所述計算裝置檢測用於傳遞所述所生成的影像圖框的傳輸頻寬;以及 根據所述檢測到的傳輸頻寬適應性地調整所述第二解析度。
  5. 如申請專利範圍第1項所述的適應***錯影像捲繞方法,更包括: 通過所述計算裝置檢測穿戴所述頭戴式裝置的使用者的移動速度;以及 根據所述檢測到的移動速度適應性地調整所述第二解析度。
  6. 如申請專利範圍第1項所述的適應***錯影像捲繞方法,更包括: 通過所述計算裝置分析待生成的所述影像圖框中的影像內容以檢測所述影像內容的視野的移動速度;以及 根據所述檢測到的移動速度適應性地調整所述第二解析度。
  7. 如申請專利範圍第6項所述的適應***錯影像捲繞方法,其中所述根據所述檢測到的移動速度適應性地調整所述第二解析度的步驟包括: 如果所述檢測到的移動速度超過第一閾值,降低所述第二解析度。
  8. 如申請專利範圍第1項所述的適應***錯影像捲繞方法,其中所述第一解析度為所述第一顯示器以及所述第二顯示器的所述正常解析度。
  9. 如申請專利範圍第1項所述的適應***錯影像捲繞方法,更包括: 如果所述第一解析度不等於所述正常解析度,將具有所述第一解析度的所述第一圖框恢復到所述正常解析度,以及通過所述頭戴式裝置在所述第一顯示器以及第二顯示器上交錯顯示所述所恢復的第一圖框以及第二圖框。
  10. 一種適應***錯影像捲繞的顯示系統,包括: 計算裝置;以及 頭戴式裝置,連接到所述計算裝置,包括用於左眼的第一顯示器以及用於右眼的第二顯示器, 其中所述計算裝置經配置以根據圖框率生成待顯示在所述頭戴式裝置上的多個影像圖框,其中所生成待在在相同時間點顯示在所述第一顯示器以及所述第二顯示器上的所述影像圖框包括具有第一解析度的第一圖框以及具有第二解析度的第二圖框,所述第二解析度低於所述第一解析度, 其中所述計算裝置經配置以將所述所生成的影像圖框傳遞到所述頭戴式裝置, 其中所述頭戴式裝置經配置以將所述影像圖框中具有所述第二解析度的所述第二圖框恢復到所述第一顯示器以及所述第二顯示器的正常解析度,以及將所述第一圖框以及所述所恢復第二圖框交錯顯示在所述第一顯示器以及所述第二顯示器上。
  11. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,其中所生成待在下一時間點顯示在所述第一顯示器以及所述第二顯示器上的所述第一圖框以及所述第二圖框被切換。
  12. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,其中所述計算裝置更包括: 檢測所述計算裝置的計算負載量;以及 根據所述檢測到的計算負載量適應性地調整所述第二解析度。
  13. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,其中所述計算裝置更包括: 檢測用於傳遞所述所生成的影像圖框的傳輸頻寬;以及 根據所述檢測到的傳輸頻寬適應性地調整所述第二解析度。
  14. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,更包括: ***,定位穿戴所述頭戴式裝置的使用者以及經配置以追蹤穿戴所述頭戴式裝置的所述使用者的移動速度, 其中所述計算裝置經配置以通過網路與所述***連接、檢測所述使用者的所述移動速度以及根據所述檢測到的移動速度適應性地調整所述第二解析度。
  15. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,其中所述頭戴式裝置包括: 運動感測器,經配置以追蹤穿戴所述頭戴式裝置的使用者的移動速度, 其中所述計算裝置經配置以檢測所述使用者的所述移動速度以及根據所述檢測到的移動速度適應性地調整所述第二解析度。
  16. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,其中所述計算裝置更包括: 分析待生成的所述影像圖框中的影像內容以檢測所述影像內容的視野的移動速度;以及 根據所述檢測到的移動速度適應性地調整所述第二解析度。
  17. 如申請專利範圍第16項所述的適應***錯影像捲繞的顯示系統,其中所述計算裝置更包括: 如果所述檢測到的移動速度超過第一閾值,降低所述第二解析度。
  18. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,其中所述第一解析度為所述第一顯示器以及所述第二顯示器的所述正常解析度。
  19. 如申請專利範圍第10項所述的適應***錯影像捲繞的顯示系統,其中所述頭戴式裝置更包括: 如果所述第一解析度不等於所述正常解析度,將具有所述第一解析度的所述第一圖框恢復到所述正常解析度,以及在所述第一顯示器以及第二顯示器上交錯顯示所述所恢復的第一圖框以及第二圖框。
  20. 一種非暫時性電腦可讀記錄媒體,經配置以記錄程式,其中所述程式通過計算裝置中的處理器載入以執行以下步驟: 通過所述計算裝置根據圖框率生成待顯示在頭戴式裝置上的多個影像圖框,其中所生成待在相同時間點顯示在所述第一顯示器以及所述第二顯示器上的所述影像圖框包括具有第一解析度的第一圖框以及具有第二解析度的第二圖框,所述第二解析度低於所述第一解析度; 將所述所生成的影像圖框從所述計算裝置傳遞到所述頭戴式裝置; 通過所述頭戴式裝置將所述影像圖框中具有所述第二解析度的所述第二圖框恢復到所述第一顯示器以及所述第二顯示器的正常解析度;以及 通過所述頭戴式裝置將所述第一圖框以及所述所恢復第二圖框交錯顯示在所述第一顯示器以及所述第二顯示器上
TW107140690A 2017-11-16 2018-11-16 適應***錯影像捲繞的方法、系統以及記錄媒體 TWI687088B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762586891P 2017-11-16 2017-11-16
US62/586,891 2017-11-16

Publications (2)

Publication Number Publication Date
TW201924327A TW201924327A (zh) 2019-06-16
TWI687088B true TWI687088B (zh) 2020-03-01

Family

ID=66432636

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140690A TWI687088B (zh) 2017-11-16 2018-11-16 適應***錯影像捲繞的方法、系統以及記錄媒體

Country Status (3)

Country Link
US (1) US10742966B2 (zh)
CN (1) CN109803138B (zh)
TW (1) TWI687088B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166758B (zh) * 2019-06-24 2021-08-13 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
TWI704376B (zh) * 2019-07-19 2020-09-11 宏碁股份有限公司 視角校正方法、虛擬實境顯示系統與運算裝置
CN113797418A (zh) * 2020-06-12 2021-12-17 中强光电股份有限公司 医疗影像设备以及医疗影像显示方法
CN113938665B (zh) * 2020-07-14 2023-10-13 宏达国际电子股份有限公司 用于传输缩减的深度信息的方法和电子装置
US20220201271A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Temporal foveated rendering
CN117136542A (zh) * 2021-03-31 2023-11-28 苹果公司 用于观看3d照片和3d视频的技术

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204258990U (zh) * 2014-12-24 2015-04-08 何军 智能头戴显示装置
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
CN105812768A (zh) * 2016-03-18 2016-07-27 深圳市维尚境界显示技术有限公司 一种3d视频在vr设备中的播放方法及***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
KR20110134327A (ko) * 2010-06-08 2011-12-14 엘지전자 주식회사 영상 처리 방법 및 그에 따른 영상 표시 장치
US8848040B2 (en) * 2010-10-08 2014-09-30 3Dv Co., Ltd. 3D display system with active shutter plate
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
JP6438694B2 (ja) * 2014-07-09 2018-12-19 日本放送協会 立体映像表示装置および映像生成プログラム
EP3259739A4 (en) * 2015-02-17 2018-08-29 NEXTVR Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
CN106713922B (zh) * 2017-01-13 2020-03-06 京东方科技集团股份有限公司 图像处理方法和电子设备
US10268263B2 (en) * 2017-04-20 2019-04-23 Microsoft Technology Licensing, Llc Vestibular anchoring
JP6909286B2 (ja) * 2017-05-18 2021-07-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
CN204258990U (zh) * 2014-12-24 2015-04-08 何军 智能头戴显示装置
CN105812768A (zh) * 2016-03-18 2016-07-27 深圳市维尚境界显示技术有限公司 一种3d视频在vr设备中的播放方法及***

Also Published As

Publication number Publication date
TW201924327A (zh) 2019-06-16
US20190149809A1 (en) 2019-05-16
US10742966B2 (en) 2020-08-11
CN109803138A (zh) 2019-05-24
CN109803138B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
TWI687088B (zh) 適應***錯影像捲繞的方法、系統以及記錄媒體
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10559065B2 (en) Information processing apparatus and information processing method
US9741167B1 (en) Method and system for providing an image of a virtual space to a head mounted display
US10078366B2 (en) Head-mountable apparatus and system
JP6642430B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
US10969861B2 (en) Image processing device, image processing method, and image system
JP6130478B1 (ja) プログラム及びコンピュータ
US11002959B2 (en) Head mount display device and driving method thereof
US11695908B2 (en) Information processing apparatus and information processing method
EP3619685B1 (en) Head mounted display and method
JP2020003898A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20210138484A (ko) 깊이 맵 복구를 위한 시스템 및 방법
EP3236306A1 (en) A method for rendering a 3d virtual reality and a virtual reality equipment for implementing the method
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US11187895B2 (en) Content generation apparatus and method
US20230410699A1 (en) Structured display shutdown for video pass-through electronic devices
JP2017121082A (ja) プログラム及びコンピュータ
TWI626560B (zh) 互動式顯示系統與方法
WO2024071208A1 (ja) 表示装置、表示方法及びプログラム
TWI669940B (zh) 立體影像顯示方法與電子裝置
WO2018225648A1 (ja) 画像処理装置およびその制御方法
TWM548794U (zh) 頭戴式顯示器及顯示系統
JP2014112794A (ja) 立体画像生成装置、立体画像生成方法及びプログラム