TWI685679B - 用於全視差壓縮光場三維成像系統之方法 - Google Patents

用於全視差壓縮光場三維成像系統之方法 Download PDF

Info

Publication number
TWI685679B
TWI685679B TW104100789A TW104100789A TWI685679B TW I685679 B TWI685679 B TW I685679B TW 104100789 A TW104100789 A TW 104100789A TW 104100789 A TW104100789 A TW 104100789A TW I685679 B TWI685679 B TW I685679B
Authority
TW
Taiwan
Prior art keywords
light field
holographic
display
holographic element
texture
Prior art date
Application number
TW104100789A
Other languages
English (en)
Other versions
TW201531745A (zh
Inventor
丹尼洛Ｂ 葛吉歐西
薩賀Ｙ 艾帕斯朗
葛洛力 哈森Ｓ 艾爾
Original Assignee
美商傲思丹度科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商傲思丹度科技公司 filed Critical 美商傲思丹度科技公司
Publication of TW201531745A publication Critical patent/TW201531745A/zh
Application granted granted Critical
Publication of TWI685679B publication Critical patent/TWI685679B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Holo Graphy (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明描述一種壓縮光場成像系統。光場三維(3D)資料經分析以判定待(獲取)顯現之光場樣本之最佳子集，同時使用多參考深度影像繪圖法來產生剩餘樣本。光場經編碼且被傳輸至顯示器。3D顯示器直接重建光場且避免通常發生於習知成像系統中之資料擴展。本發明能夠實現達成高壓縮效能同時使記憶體及計算需求最小化之全視差3D壓縮成像系統。

Description

用於全視差壓縮光場三維成像系統之方法 [相關申請案之交叉參考]
本申請案主張2014年1月10日申請之美國臨時專利申請案第61/926,069號之權利。
本發明大體上係關於影像及視訊壓縮，更特定言之，本發明係關於用作為光場3D成像系統之輸入的光場影像資料之壓縮。術語「光場」描述包含方向、振幅及頻率之光之透射及調變，因此囊括利用諸如全像術、積分成像、體視術、多視角成像、自由視點TV(FTV)及其類似者之技術的成像系統。
所引用之參考文獻
[1] 美國專利申請公開案第US 2009/0086170 A1號，「Quantum Photonic Imagers and Methods of Fabrication Thereof」，2009年4月2日
[2] 美國專利申請公開案第US 2010/0225679 A1號，「Multi-Pixel Addressing Method for Video Display Drivers」，2010年9月9日
[3] 美國專利第8,401,316 B2號，「Method and apparatus for block-based compression of light-field images」
[4] 美國專利申請公開案第US 2013/0077880號，「Systems and methods for encoding light field image files」
[5] 美國專利申請公開案第US 2013/0077882號，「Systems and methods for decoding light field image files」
[6] 美國專利申請公開案第US 2011/0134227 A1號，「Methods and apparatuses for encoding, decoding, and displaying a stereoscopic 3D image」
[7] 美國專利第US 5,613,048號，「Three-dimensional image synthesis using view interpolation」
[8] 美國專利申請公開案第US 2008/0043095號，「Method and system for acquiring, encoding, decoding and displaying 3D light fields」
[9] 美國專利第US 6,009,188號，「Method and system for digital plenoptic imaging」
[10] 美國專利第US 6,738,533 B1號，「Minimum sampling rate and minimum sampling curve for image-based rendering」
[11] 美國專利第US 8,284,237 B2號，「Rendering multiview content in a 3D video system」
[12] 美國專利申請公開案第US 2012/0213270 A1號，「Method and Apparatus for Compressive Imaging Device」
[13] 美國專利第US 6,097,394號，「Method and system for light field rendering」
[14] 美國專利申請公開案第US 2013/0010057號，「3d disparity maps」
[15] 美國專利申請公開案第US 2010/0156894號，「Rendering 3D Data to Hogel Data」
[16] 美國專利申請公開案第US 2010/0231585號，「Systems and Methods for Processing Graphics Primitives」
[17] 美國專利第US 6,963,431號，「Rendering methods for full parallax autostereoscopic displays」
[18] A. Vetro、T. Wiegand、G. Sullivan之「Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4 AVC standard」，Proceedings of the IEEE，第99卷，第4期，2011年4月
[19] ISO/IEC JTC1/SC29/WG11之「Call for Proposals on 3D Video Coding Technology」，瑞士，日內瓦，2011年3月
[20] Levoy及Hanrahan之「Light Field Rendering, Computer Graphics」，SIGGRAPH 96 Proceedings，第31頁至第42頁，1996年
[21] Magnor及Girod之「Data Compression for Light-Field Rendering」，IEEE Transaction on Circuits and Systems for Video Technology，第10卷，第3期，2000年4月，第338頁至第343頁
[22] Candès, E.、Romberg, J.、Tao, T.之「Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information」，IEEE Trans. Inform. Theory 52 (2006) 489-509
[23] David Donoho之「Compressed sensing」，IEEE Transactions on Information Theory，第52卷，第4期，2006年4月，第1289頁至第1306頁
[24] Candès, E.、Tao, T.之「Near optimal signal recovery from random projections and universal encoding strategies」 (2004)
[25] Gordon Wetzstein, G.、Lanman, D.、Hirsch, M.、Heidrich, W.及Raskar, R.之「Compressive Light Field Displays」，IEEE Computer Graphics and Applications，第32卷，第5期，第6頁至第11頁，2012年
[26] Heide, F.、Wetzstein, G.、Raskar, R.及Heidrich, W.之 「Adaptive Image Synthesis for Compressive Displays」，Proc. of SIGGRAPH 2013 (ACM Transactions on Graphics 32, 4)，2013年
[27] Hoffman, D.、Girshick, A.、Akeley, K.及Banks, M. (2008)之「Vergence-accommodation conflicts hinder visual performance and cause visual fatigue」，Journal of Vision 8(3)，33
[28] ISO/IEC 14496-10:2003之「Coding of Audiovisual Objects-Part 10: Advanced Video Coding」 (2003)，及ITU-T Recommendation H.264之「Advanced video coding for generic audiovisual services」
[29] C. Fehn之「3D-TV Using Depth-Image-Based Rendering (DIBR)」，Proceedings of Picture Coding Symposium，美國，加州，舊金山，2004年12月
[30] Malvar, H. S.、Sullivan, G. J.及Srinivasan, S.之「Lifting-Based Reversible Color Transformations for Image Compression」，Proceeding SPIE Applications of Digital Image Processing，2008年
[31] M. Lucente之「Diffraction-Specific Fringe Computation for Electro-Holography」，Doctoral Thesis Dissertation，MIT Depart. of Electrical Engineering and Computer Science，1994年9月
[32] Z. Alpaslan等人之美國專利申請公開案第US 2013/0141895號，「Spatio-Optical Directional Light Modulator」，2011年12月16日
[33] H.S. El-Ghoroury等人之美國專利申請公開案第US 2013/0258451號，「Spatio-Optical Directional Light Modulator」，2012年7月11日
[34] S. Guncer之美國專利申請公開案第US 2010/0007804號，「Image Construction Method Based Video Display System」，2010年1月14日
[35] S. Guncer之美國專利申請公開案第US 2010/0225679號，「Multi-Pixel Addressing Method for Video Display System」，2010年9月9日
[36] H.S. El-Ghoroury等人之美國專利申請公開案第US 2013/0321581號，「Spatio-Temporal Light Field Cameras」，2012年10月24日
概述
人類視覺系統中之深度知覺依賴若干深度線索。此等線索可分類成心理深度線索(透視、陰影、照明、相對大小、遮擋及紋理梯度等等)及生理深度線索(輻輳(vergence)、調節、運動視差、雙眼像差等等)。當心理深度線索提供一光場之深度之一相對理解時，生理深度線索提供絕對深度資訊。市售3D顯示器使用生理深度線索之一子集來增強觀看體驗。
自所有主要TV製造商引入基於眼鏡之3D TV以來，基於眼鏡之3D顯示器已日益流行。吾人已認定，當前可用技術之最大缺點係使用3D眼鏡，其可分類為主動的或被動的。一般而言，基於眼鏡之技術不適合於觀看者長時間使用且對需要驗光眼鏡之人提出挑戰。
自動立體顯示器使用附接至一顯示器表面之定向調變器(諸如視差障壁或雙凸薄片)以在無需眼鏡之情況下產生一3D效應。市售自動立體顯示器通常使用水平視差來將3D資訊呈現給觀看者。此顯示技術之主要問題係有限視角及每視圖之有限解析度，此導致一較低品質之3D影像。另外，在視角內，使用者必須使其頭部保持垂直，否則3D效應將消失。
長時間觀看基於眼鏡之3D顯示器及僅水平視差之光場顯示器兩者通常引起歸因於一生理效應(稱為輻輳調節衝突(VAC)[27])之不 適，此係因為眼睛聚焦於顯示器表面且需要遠離其會聚以感知不同深度處所描繪之物體。
利用全視差3D顯示技術來達成一更自然之3D效應。除水平視差之外，此技術亦具有垂直視差，使得觀看者之一垂直移動展現3D場景之一不同視圖。全視差顯示器一般具有某數量級之視圖或比僅水平視差之顯示器多之視圖。密集地配置此等視圖藉由提供正確調節及輻輳線索而產生不會因一使用者移動或傾斜其頭部而變化之一非常自然之3D影像，且亦消除VAC。消除輻輳調節衝突之3D顯示器通常指稱無VAC之3D顯示器。
與此等全視差3D顯示器相關聯之主要挑戰在於：顯現具有寬視角之全視差3D影像所需之調變影像解析度之增大對顯示器系統產生一新損害，即，實質上增加之影像資料量。一無VAC之全視差光場顯示器之影像資料之產生、獲取、傳輸及調變(或顯示)需要每秒數千萬兆位元(Tbps)之資料速率。對輸入影像之一快速檢測展現光場資料元素(稱為全像元素或「hogel」)之間之足夠固有相關性，且已在先前技術[31]中提出壓縮演算法來處置此類型之資料。然而，熟習此項技術者應瞭解，先前技術中所描述之有限數目個壓縮方法僅可被即時實施，且此等方法均無法即時顯現及/或壓縮驅動一全視差無VAC顯示器所需之資料量。例如，最先進之視訊壓縮格式H.264/AVC可設法依每秒約3千兆個位元之一資料位元速率[28]壓縮超高解析度視訊圖框(4,096×2,304 @56.3，或每秒0.5千兆個像素)。H264/AVC將無法達成傳輸光場影像資料所需之足夠壓縮量，且若依60Hz之視訊速率即時更新光場(其中資料速率可高達至86Tbps)，則H264/AVC將達成更少很多之壓縮量。
當前壓縮標準未將在水平方向及垂直方向兩者上存在之高相關性用於一全視差光場影像中。以3D顯示器為目標之新壓縮標準在開 發中。然而，該等新壓縮標準僅以水平視差、有限數目個視圖為目標，且通常需要增加記憶體量及計算資源量。壓縮演算法必須平衡品質、壓縮比及計算負載。作為一般規則，一編碼器之壓縮比越高，計算負載越大，此使即時實施變得非常困難。若需要高壓縮及降低計算負載兩者，則需犧牲品質。高度期望能夠同時提供高品質、高壓縮比及相對較低之計算負載之一壓縮解決方案。
因此，本發明之一目的係引入克服先前技術之缺陷的光場壓縮方法，因此可產生無VAC全視差3D顯示器，其將本發明之壓縮方法用於各種壓縮光場成像系統以降低資料速率、編碼及解碼兩者之處理需求、以及整個成像系統之電力消耗。將從參考附圖來進行之本發明之一較佳實施例之以下詳細描述明白本發明之額外目的及優點。
先前技術
可藉由使用壓縮資料格式而緩解大量資料之傳輸。在習知光場系統中，首先擷取整個光場，且接著使用習知影像/視訊壓縮演算法或光場特定編碼器來壓縮光場。壓縮資料可經傳輸、儲存或重整以供顯示器使用，在該顯示器中解壓縮及調變該壓縮資料(美國專利第8,401,316 B2號[3]或美國專利申請案第US2013/0077880號[4]中給出光場壓縮系統之實例)。
可使用多視圖壓縮(MVC)[18]標準來壓縮光場。可將全像元素解譯為一多視圖序列之圖框且估計及編碼影像之間之像差。基於區塊之像差估計產生由一基於區塊之編碼器編碼之不精確性，且壓縮效能隨著影像之數目而線性地增長。
為改良多視圖編碼，新編碼標準考量採用來自電腦視覺領域之技術[19]。藉由使用每像素深度，可將參考影像投影至新視圖，且可使用合成影像來代替價格昂貴之新影像傳輸。此技術需要增加解碼器側處之計算資源量及本端記憶體量，此對該技術之即時實施提出一挑 戰。壓縮工具亦以其在僅水平多視圖序列中之使用為目標，且未利用積分影像之幾何配置。
專針對光場影像壓縮而開發之方法包含由Levoy等人描述之一向量量化方法[20]及由Magnor等人描述之基於視訊壓縮之方法[21]。向量量化之使用係受限制的且無法達成高壓縮效能，諸如由Girod呈現之壓縮效能。Girod之方法類似於一多視圖壓縮演算法，其中影像之幾何規則性用於像差估計。然而，該等方法需要增加本端記憶體量，且不適合於即時實施。
除資料壓縮之問題之外，亦存在資料獲取之問題。產生用於編碼之整個光場需要大量處理通量及記憶體，且會在壓縮階段捨棄諸多樣本。名為「壓縮感測(CS)」之一項最近開發技術涉及此問題。支援壓縮感測之基本原理為：可使用一非相干基本原則來對在一些變換域中可高度壓縮(或等效地稀疏)之一信號進行最低限度地取樣且仍重建具有可接受品質之該信號[22]、[23]。此新典範將複雜性從獲取轉移至重建程序，此導致更複雜之解碼器。此趨勢與在顯示器裝置中直接呈現計算能力之計算顯示器之趨勢一致。具有計算能力且能夠直接處置壓縮資料之顯示器亦被稱為壓縮性顯示器[25,26]及[34,35]。
很顯然，先前技術無法充分地解決無VAC全視差之寬視角3D顯示技術之實際實施所需之高壓縮比、高品質、低計算負載光場資料壓縮之需要。
101‧‧‧場景/三維(3D)資料
102‧‧‧全光場顯現程序
103‧‧‧光場壓縮步驟
104‧‧‧解壓縮壓縮資料
105‧‧‧顯示壓縮資料
106‧‧‧壓縮顯現
107‧‧‧顯示器匹配之編碼器
108‧‧‧顯示器
109‧‧‧壓縮擷取系統
201‧‧‧可視度測試
202‧‧‧顯現參考全像元素
203‧‧‧參考全像元素紋理
204‧‧‧每像素深度圖
205‧‧‧自適應紋理濾波器/自適應紋理濾波
206‧‧‧深度至像差轉換
207‧‧‧經濾波之參考全像元素紋理/多參考深度影像繪圖法(MR-DIBR)
208‧‧‧參考全像元素像差
209‧‧‧多參考深度影像繪圖法(MR-DIBR)
210‧‧‧合成光場紋理
211‧‧‧合成光場像差圖/合成光場像差
212‧‧‧光場調變器
213‧‧‧經調變之光場
301‧‧‧參考全像元素
302‧‧‧全像元素
303‧‧‧參考全像元素之平截頭體
304‧‧‧觀看區域
401‧‧‧物體清單
402‧‧‧選擇四個隅角全像元素作為參考全像元素
403‧‧‧從物體清單移除等於或大於Z之距離處之物體
404‧‧‧將更多全像元素新增至參考全像元素清單以覆蓋最遠物體
405‧‧‧重複程序
406‧‧‧參考全像元素
501‧‧‧計算全像元素之各者之一度量準則
502‧‧‧將光場內之所有全像元素分成N×M個全像元素之區域
503‧‧‧從N×M個全像元素之區域選擇一代表性全像元素且將其新增至全像元素參考清單中
504‧‧‧新增隅角全像元素
505‧‧‧將全像元素新增至參考全像元素清單
506‧‧‧參考全像元素清單
507‧‧‧目標全像元素
508‧‧‧參考全像元素
509‧‧‧灰色區域
701‧‧‧參考像差
703‧‧‧使參考像差正向形變
704‧‧‧像差濾波器
705‧‧‧將所有參考之結果一起合併成一最終像差圖
706‧‧‧反向形變區塊
709‧‧‧反向形變
801‧‧‧參考全像元素
802‧‧‧參考全像元素
803‧‧‧參考全像元素
804‧‧‧參考全像元素
805‧‧‧目標全像元素
806‧‧‧目標全像元素
807‧‧‧目標全像元素
901‧‧‧像素位置
902‧‧‧像素位置
903‧‧‧像素位置
904‧‧‧像素位置
905‧‧‧目標全像元素像素
1001‧‧‧合成光場
1003‧‧‧位元串流
1004‧‧‧擷取匹配之解碼器
1101‧‧‧種子全像元素像差
1102‧‧‧種子全像元素紋理
1103‧‧‧殘餘全像元素紋理
1104‧‧‧殘餘全像元素像差
1105‧‧‧經重建之種子全像元素紋理
1106‧‧‧種子全像元素像差編碼器/種子全像元素像差編碼
1107‧‧‧種子全像元素紋理編碼器/種子全像元素紋理編碼
1108‧‧‧殘餘全像元素紋理編碼
1109‧‧‧殘餘全像元素像差編碼
1201‧‧‧將種子全像元素紋理分段成k×k個像素之區塊
1202‧‧‧使種子全像元素紋理值位凖移位一固定值
1203‧‧‧將種子全像元素像素色彩空間轉換成與色彩通道解相關之一色彩空間
1204‧‧‧區塊變換
1205‧‧‧量化區塊
1206‧‧‧DPCM方案
1207‧‧‧曲折掃描及運行長度編碼
1208‧‧‧熵編碼
1209‧‧‧逆量化區塊/逆量化
1210‧‧‧逆變換
1211‧‧‧逆色彩空間轉換
1212‧‧‧逆位凖移位
1301‧‧‧列掃描
1302‧‧‧運行長度編碼
1401‧‧‧深度影像繪圖法(DIBR)區塊
1601‧‧‧計算可用於編碼種子全像元素紋理及像差之總位元數
1602‧‧‧選擇需要最多位元數來編碼其像差之種子全像元素之紋理以最佳化編碼量化步長
1603‧‧‧由總可用位元速率減去用於編碼像差資訊及標頭資訊所需之速率判定可用於編碼種子全像元素紋理之位元速率
1604‧‧‧選擇可在編碼種子全像元素紋理時導致最小失真之編碼量化步長參數
1605‧‧‧使用對應編碼量化步長來計算編碼種子全像元素紋理所需之位元速率
1607‧‧‧所計算之位元速率是否超過可用位元速率？
1608‧‧‧種子全像元素所需之量化步長及位元速率
1609‧‧‧增大種子全像元素之量化步長
1701‧‧‧編碼模式
1702‧‧‧消除不可行之編碼模式作為一選擇
1703‧‧‧消除導致大於可用位元速率之頻寬之編碼模式
1704‧‧‧使用一拉格朗日(Lagrange)成本最佳化來完成剩餘編碼模式中之選擇
1705‧‧‧選擇具有最小成本函數之編碼模式且從可用於殘餘全像元素編碼之總位元減去所使用之位元量
1801‧‧‧熵解碼
1802‧‧‧DPCM解碼
1803‧‧‧運行長度解碼及掃描
1804‧‧‧運行長度解碼
1805‧‧‧經重建之殘餘全像元素紋理
1901‧‧‧光場資料區塊
1903‧‧‧殘餘紋理區塊
1904‧‧‧重複程序
1905‧‧‧處理剩餘殘餘紋理
1906‧‧‧光場資料區塊
在以下描述中，即使在不同圖式中，相同圖式參考元件符號用於相同元件。平行四邊形方塊用於描述資料，而矩形方塊用於描述程序。描述中所界定之事項(諸如詳細建構及元件)經提供以有助於綜合地理解例示性實施例。然而，可在無需此等特定界定事項之情況下實踐本發明。此外，未詳細描述熟知功能或建構，此係因為其將使具有 不必要細節之本發明不清楚。為理解本發明且領會可如何在實踐中實施本發明，現將參考附圖僅依非限制性實例之方式描述本發明之一些實施例，其中：圖1a展示先前技術之光場成像系統。
圖1b繪示本發明之基本原理，藉此擷取場景/3D資料且將其以一壓縮格式傳輸至顯示器且顯示器直接顯示壓縮資料。
圖2a係本發明之壓縮顯現方法之一方塊圖。
圖2b係直接連接至顯示器之壓縮顯現方法之一方塊圖，其中使用多參考深度影像繪圖法來重建光場。
圖3繪示本發明之壓縮顯現方法之待合成之一目標全像元素與參考全像元素之間之關係。
圖4係用於選擇本發明之壓縮顯現方法之參考全像元素的可視度測試之一實施例之一流程圖。
圖5係用於選擇本發明之壓縮顯現方法之參考全像元素的可視度測試之一替代實施例之一流程圖。
圖6繪示用於選擇本發明之壓縮顯現方法之參考全像元素的可視度測試之圖5之替代實施例之參考全像元素選擇準則。
圖7繪示使用參考全像元素來合成光場全像元素之本發明之程序。
圖8繪示使用參考全像元素深度資訊來合成光場全像元素像差之本發明之一實施例。
圖9繪示用於本發明之多參考深度影像繪圖法(MR-DIBR)中之反向形變(backward warping)之細節。
圖10係本發明之顯示器匹配之編碼程序及解碼程序之一概述。
圖11繪示本發明之顯示器匹配之編碼程序之細節。
圖12繪示用於本發明之顯示器匹配之編碼程序之一實施例中之 種子全像元素紋理編碼程序之細節。
圖13繪示用於本發明之顯示器匹配之編碼程序之一實施例中之種子全像元素像差編碼程序之細節。
圖14繪示用於本發明之顯示器匹配之編碼程序之一實施例中之殘餘全像元素像差編碼程序之細節。
圖15繪示用於本發明之顯示器匹配之編碼程序之一實施例中之殘餘全像元素紋理編碼程序之細節。
圖16繪示用於本發明之一實施例中之種子全像元素之位元速率分配之方法。
圖17繪示用於本發明之一實施例中之殘餘全像元素之位元速率分配之方法。
圖18繪示本發明之3D成像系統之顯示器側處之接收位元串流之解碼。
圖19繪示對本發明之3D成像系統之一動態光場實施方案執行之運動補償之細節。
一般概念
本發明使用電腦繪圖領域中之一些熟知技術，為了完整，本文中界定該等技術。
在電腦繪圖中，建立一場景或一場景之一視圖之動作被稱為視圖顯現。通常使用一3D模型以及閃光、表面性質及攝像機視點。此視圖顯現一般需要若干複雜操作且亦需要詳細瞭解場景幾何。用於顯現新穎視圖之一替代技術係使用多個周圍視點。此技術(稱為影像繪圖法(IBR))直接從對光場過度取樣之輸入影像顯現新穎視圖。IBR產生具有更逼真品質之視圖，然而其需要光場中之一更密集之資料獲取程序、資料儲存及冗餘。
複雜幾何模型與資料密集型IBR之間之一權衡係使用深度資訊及選定數目個視圖。各視圖具有與各像素位置相關聯之一深度，亦稱為深度圖。接著，該等深度圖用於合成新視圖，稱為深度影像繪圖法(DIBR)[11]及[29]之一程序。DIBR利用深度資訊及虛擬攝像機之非固有參數及固有參數來將一2D螢幕之點投影至其各自3D位置中，且接著將3D點重投影至一目標2D螢幕上，亦稱為正向形變(forward warping)之一操作。逆向操作亦有效，其中已知目標視圖之深度值，且從一參考視圖「找取」紋理值。在此情況中，該操作被稱為反向形變。DIBR合成之最大問題係產生孔洞，此歸因於深度值之不精確性、捨入誤差及物體去遮擋。
在本發明中，術語「全像元素」用作為一光場影像之最小單元，其含有可由3D顯示器定向地調變至所有可用方向之資訊。在基於透鏡之成像系統中，一全像元素由一小透鏡或一微透鏡下方之一元素影像組成，該小透鏡或該微透鏡定向地調變該元素影像。在一基於折射之成像系統中，一全像元素由含有所有調變頻率之全像圖之最小分段組成。
光場顯示之當前方法擷取或顯現全解析度之光場且接著隨後將其壓縮以移除全解析度光場中之冗餘。另一方面，本發明在一單一步驟中執行兩個操作(同時擷取或顯現光場且壓縮光場)。吾人將擷取/顯現及壓縮兩者之融合稱為壓縮擷取系統。壓縮擷取被界定為將一光場成像系統之獲取階段及壓縮階段合成為一單一步驟且產生壓縮格式之一光場(亦稱為一壓縮光場)的一方法。該壓縮光場含有重建具有可接受品質之整個光場所需之最少或接近最少之資訊。與壓縮感測(其中，除已知信號在一判定域中係稀疏之事實之外，利用一非相干基本原則來獲取信號且無需特別地瞭解場景)相比，當選擇用於產生一壓縮光場之資訊時，壓縮擷取方法較佳地利用高階場景資訊來作出一更 明智決策。本發明利用顯示器之計算能力以在顯示器處直接重建在獲取階段期間被最少取樣之一光場。在一可能實施例中，本發明使用一個兩階段壓縮構架來建立一有效率資料處理流程。第一階段(本文中指稱壓縮顯現)更適合於以下目標：減少待顯現之視圖之數目，且因此減少所需之處理通量且因此減少成像系統電力消耗。壓縮顯現被界定為一子取樣光場之任何顯現或產生，該子取樣光場最佳地含有用於表示重建具有可接受品質之光場所需之最少或接近最少之光場資訊的全像元素資料之一子集，其中藉由一預處理(最佳地藉由對場景執行一高階分析)而選擇全像元素資料。將光場子取樣為全像元素資料之程序產生全像元素，下文中指稱參考全像元素。可從現實世界擷取之光場(諸如從一或多個光場攝像機)實體地獲得參考全像元素資料，使用電腦繪圖或甚至兩種方法之一組合(例如，在(但不限於)擴增實境應用中)來合成地顯現參考全像元素資料。第二階段(本文中指稱顯示器匹配之編碼器)考量顯示器系統之硬體特性，且應用適合於並行及即時實施之一編碼演算法。顯示器匹配之編碼器被界定為與顯示器之計算能力匹配之3D資料之任何壓縮，但更佳地，顯示器匹配之編碼器經調適以使用顯示器之多重處理能力來解壓縮，且最佳地，顯示器匹配之編碼器用於其中將一3D影像細分為諸多全像元素區域之情況中，其中各此類全像元素區域之顯示器匹配編碼器與其他全像元素區域之顯示器匹配編碼器實質上無關以促進使用顯示器中或與顯示器相關聯之多個實質上相同處理節點來解壓縮。在各全像元素區域內，獨立地傳輸及接收一或多個全像元素。此等全像元素在下文中指稱種子全像元素。相對於該(等)種子全像元素而傳輸及接收剩餘全像元素。一顯現程序使用種子全像元素來產生一或多個合成視圖，該一或多個合成視圖用作為一或多個剩餘全像元素之預測。接著，顯示器匹配之編碼器對原始全像元素與預測合成全像元素之間之差異進行編碼。合 成全像元素在本文中亦指稱一殘餘全像元素。藉由利用兩個單獨程序，可在兩個階段中完成區域及全域最佳化以達成減少電力消耗、增加資料壓縮、減小傳輸頻寬、降低系統複雜性、減少成本、減少處理需求及減少記憶體需求之總體所要效能，同時允許即時操作及一高品質光場重現。
本文中結合附圖所描述之本發明之實施例之一者說明增大壓縮比同時減少計算負載以即時產生高品質光場影像之方式。在本發明之壓縮顯現方法中，與光場內之3D場景有關之先驗知識用於(例如使用圖框擷取器)擷取足以重建場景且不使感知品質降級之全像元素之紋理及深度圖資訊之最小子集。多參考深度影像繪圖法(MR-DIBR)用於合成剩餘全像元素。可藉由預處理輸入資料而提取場景之先驗知識，且將在本發明中透過實施例而進一步解釋場景之先驗知識。本文中所描述之實施例絕不具限制性，而是可透過不同實施例而實施本發明，諸如(例如)直接在一光場攝像機處執行壓縮擷取。在顯示器匹配之編碼器中，依匹配調變此光場資料之顯示器(本文中亦指稱光場調變器)之能力之一方式進一步壓縮壓縮顯現階段中所擷取之資料。本發明之壓縮顯現方法及顯示器匹配編碼器方法之組合減少一3D光場擷取及顯示系統中之總計算負載且允許即時操作，同時不引入任何新感知影像降級。本文中所描述之實施例絕不具限制性，而是可透過不同實施例而實施本發明。例如，本發明之另一實施例可將兩個先前所提及之階段組合成一個階段，其中壓縮顯現階段利用顯示器參數且執行壓縮擷取(無需一明確之顯示器匹配編碼器階段)以將已根據顯示器參數而選擇之參考全像元素發送至顯示器，其中顯示器利用基於深度影像之重建及僅接收之最少全像元素資訊來重建整個光場。類似地，本發明之又一實施例可僅利用上文所描述之顯示器匹配編碼器階段，且抑制壓縮顯現。本發明之一可能替代實施例可使用諸如[34,35]之一壓縮 顯示器，[34,35]描述用於以下各者之方法：使用離散沃爾什變換(DWT)或離散餘弦變換(DCT)係數作為至顯示器之輸入，且使用人類視覺系統(HVS)之整合態樣來執行解壓縮，且無需顯示器側處之進一步處理。此替代實施例僅執行顯示器匹配之編碼，且將壓縮資訊直接發送至顯示器。呈現此等可能實施例以繪示本發明之實際實施方案，但可在不背離本發明之意欲精神及範疇之情況下修改或最佳化本發明。
圖1b繪示本發明之基本原理，藉此擷取場景/3D資料101且將其以一壓縮格式傳輸至顯示器，且顯示器直接顯示(或調變)該壓縮資料。本發明之一實施例涉及一3D場景之擷取或場景/3D資料101之顯現及壓縮，場景/3D資料101包含(但不限於)空中地形紋理影像、具有地形高程或城市地圖之雷達或LIDAR資料、景觀、電腦產生之3D成像、醫學影像、用光場攝像機或多個攝像機同時或在不同時間拍攝之影像。圖1a中所繪示之先前技術光場成像系統首先在一全光場顯現程序102中顯現或擷取場景/3D資料101。歸因於高資料量，一光場壓縮步驟103用於減小資料大小。接著，將壓縮資料傳輸至顯示器系統，在該顯示器系統中，首先解壓縮該壓縮資料104，接著顯示該壓縮資料105。相比而言，由圖1b繪示之本發明藉由以下操作而完全避免昂貴擷取或整個光場之顯現：首先使用壓縮顯現106來顯現場景/3D資料101，由一顯示器匹配之編碼器107壓縮場景/3D資料101，接著將場景/3D資料101以壓縮格式傳輸至顯示器。參考圖1b，壓縮顯現106及顯示器匹配之編碼器107一起形成本發明之壓縮擷取系統109，其利用光場資料中固有之冗餘來有效率地產生適合於直接顯示之一壓縮表示。光場影像內之冗餘存在於由包括一全像元素且介於全像元素之間之像素之類似值表示之時間域、角域(或定向域)及空間(或x-y)域中。在本發明之一實施例中，將表示為一位元串流之壓縮光場直接傳輸至顯示 器108，顯示器108解碼該位元串流且重建描繪3D場景及其紋理及深度細節之一光場，且無需眼鏡或任何特殊設備。亦可在任何階段將該位元串流儲存於儲存媒體中以供後續使用或顯示。
壓縮顯現106-
本發明之壓縮顯現106係顯現足以供顯示器匹配之編碼器107使用同時達成最小可接受感知影像降級之最少數目個全像元素。壓縮顯現避免全像元素之習知顯現所涉及之習知昂貴操作(投影矩陣相乘、照明計算、紋理映射等等)。壓縮顯現亦避免依全感測器解析度擷取光場之一光場攝像機所需之昂貴儲存需求。參考圖2a，支援本發明之壓縮顯現106之基本概念係使用可視度測試201來選擇及顯現202光場全像元素之僅一子集，下文中指稱參考全像元素。選擇參考全像元素係基於使用一可視度測試201，可視度測試201分析3D資料以較佳地依最佳方式選擇待顯現之參考全像元素位置。例如，在一實施例中，可視度測試可指示來自一攝像機陣列中之何種攝像機應用於擷取光場或甚至何種攝像機應使其內容由圖框抓取器數位化。在又一實施例中，可視度測試將指示何種虛擬攝像機應由電腦繪圖顯現應用程式顯現。顯現程序產生參考全像元素紋理203及每像素深度圖204。藉由顯現光場之較少數目個全像元素而非顯現所有全像元素而節省計算時間及電力。可在顯現之後由一自適應紋理濾波器205對所選擇之參考全像元素紋理進行後處理。如下文之一實施例中所描述，自適應紋理濾波器之一實例係用於移除未由光場顯示器成像之高頻內容之一濾波器。在本發明之另一實施例中，可應用從深度至像差之一轉換206以處置像素位移之一簡單且直接單元。可轉換成參考全像元素像差208之壓縮顯現階段之輸出(即，經濾波之參考全像元素紋理207及其相關聯之參考全像元素深度)可由存在於顯示器108處之一重建階段進一步使用以避免顯示器匹配之編碼器步驟，如先前所提及且如圖2b中所繪 示。在此實施例中，顯示器系統利用一多參考深度影像繪圖法(MR-DIBR)209演算法來合成剩餘或殘餘全像元素且重建光場紋理210及像差211。光場調變器212利用經重建之資料以接著產生經調變之光場213。應注意，歸因於下文將解釋之優點，此實施例利用轉換成像差之深度資訊，但本發明亦適用於直接使用深度，無需任何轉換。
本發明之一態樣係使用一預定顯現演算法來顯現所選擇之參考全像元素。存在可應用於顯現參考全像元素之諸多不同顯現演算法；熟習此項技術者應認識到，一些可能性係：雙平截頭體顯現、多視圖顯現、並行群組顯現及其他。即使最佳化之顯現演算法在計算上亦較複雜且需要過度資源。使用基於光場中之元素之深度之一顯現演算法可將視圖投影之複雜操作轉化成簡單像素移位。此方法之限制係合成其中無法找到參考紋理像素之去遮擋區域。為填充此等區域，普通解決方案係使用修補方法。此等修補方法將藉由使用受限於背景紋理之資訊(藉由比較周圍紋理之深度值而識別)而合成缺失紋理。此方法需要更複雜計算且仍易於出錯。本發明之一實施例係基於使用描繪去遮擋紋理之其他參考，即，使用含有缺失紋理之視圖。此需要使用較多數目個參考全像元素；然而，品質可遠優於習知修補方法。為維持影像品質及低計算需求，此實施例係基於使用較多數目個參考全像元素，且僅在所有參考全像元素紋理無法重現去遮擋區域時求助於一合成孔洞填充操作。圖3中繪示由參考全像元素覆蓋之視場與一非參考全像元素(下文中指稱一目標全像元素)之視場之間之關係。在圖3中，針孔虛擬攝像機表示參考全像元素及目標全像元素。參考全像元素301之平截頭體303能夠擷取(或覆蓋)與顯示器表面相距某一距離之整個觀看區域。可使用參考全像元素301來適當地合成使其觀看區域304由參考全像元素301之組合平截頭體303覆蓋之所有剩餘全像元素，諸如(例如)全像元素302。藉由使用多個參考，本發明之壓縮顯 現方法能夠從不同方向覆蓋孔洞且將作為一後處理操作之孔洞填充之使用降到最低。圖3展示使用四個隅角全像元素作為一參考，然而本發明亦考量使用其他參考全像元素配置。
使用一可視度測試201來選擇參考全像元素-
在本發明之一實施例中，可使用一自上而下方法來導出選擇待顯現之參考全像元素之程序，在該自上而下方法中使用一粗柵格且隨後精細化該柵格。在本發明之另一實施例中，使用一自下而上方法來選擇參考全像元素，該自下而上方法開始於隨後經修剪以移除不必要全像元素之一細柵格。圖4繪示基於選擇參考全像元素之先前所提及方法之前者而選擇參考全像元素(圖2中之可視度測試201)之一方法。如圖4中所描繪，可藉由分析場景之物體相對於其中擷取或顯現光場之表面平面(即，其中定位擷取/顯現場景之針孔虛擬攝像機之表面或在擷取攝像機相同於顯示全像元素時之顯示器表面；下文中稱為擷取表面)之位置而實現一自上而下方法。接著，參考全像元素之選擇將取決於物體之清單401中所指定之物體之位置，如下文所解釋。在本發明之較佳實施例中，藉由選擇四個隅角全像元素作為參考全像元素402而啟動全像元素選擇程序。由於藉由選擇四個隅角全像元素作為參考而使定位於相距於擷取表面之某一深度Z處或更遠處之物體由此等隅角全像元素覆蓋，所以從物體清單移除等於或大於Z之距離處之物體403。剩餘物體根據其相距於擷取表面之距離而分類，且根據需要將更多全像元素新增至參考全像元素清單以覆蓋最遠物體404。選擇用於各物體之參考全像元素之程序404係基於擷取表面上之物體投影區域之二維取樣。物體之投影區域判定何種全像元素將含有物體之紋理，且可用作為參考。此等全像元素之二維取樣程序選擇待用作為參考之全像元素。應注意，具多個物體之場景可具有重疊參考全像元素選擇，且僅將先前未被選擇之參考全像元素新增至參考全像元素清 單。物體之深度z判定用於選擇覆蓋該物體之參考全像元素的各物體之全像元素取樣週期Δ，
Figure 104100789-A0202-12-0018-1
 其中，θ係全像元素角視場，且P係全像元素間隔(或間距)。由於基於此程序所選擇之全像元素之視場覆蓋整個物體，所以可使用所選擇之全像元素之紋理及深度來產生所選擇之全像元素之間之缺失全像元素。為併入位於當前物體後方但進一步遠離顯示器表面之一物體之去遮擋紋理，藉由在所有方向上延伸由一取樣週期Δ之至少一半分析之物體之投影區域而將額外「邊緣」全像元素位置新增至所選擇之全像元素組。重複此程序405，直至清單401中之所有物體由所得之所選擇參考全像元素組406覆蓋。
圖5繪示本發明之可視度測試201之一替代實施例，其開始於由系統允許之最大數目個全像元素且在一自下而上方法中執行參考全像元素選擇以產生該參考全像元素清單506。在用於選擇參考全像元素之此方法中，首先計算全像元素之各者之一度量準則501。此一準則之一實例可為鄰近全像元素之間之相關性，存在於一全像元素中之像差值之中位像差值可用作為該等鄰近全像元素之一度量，但熟習此項技術者將認識到，其他準則亦適用。像差值係兩個視圖之間之像素移位，且與點至擷取視圖之距離成反比。就具有規則2D攝像機配置之一光場而言，兩個相鄰攝像機之間之像差可用於傳達被描繪之物體之深度以及任何兩個鄰近視圖之間之像差。為使用非相鄰攝像機之間之像差，吾人需要根據此等攝像機之間之距離而縮放像差值。在本發明之一實施例中，將光場內之所有全像元素分成N×M個全像元素之區域502，可從N×M個全像元素之區域選擇一代表性全像元素且將其新增至全像元素參考清單503。可根據場景之元素而自適應地選擇N×M全 像元素區域之大小。例如，對於描繪遠離擷取表面之物體之場景，所有全像元素係高度相關的且N×M全像元素區域可為整組全像元素。另一方面，對於靠近擷取表面之物體，全像元素之間之相關性可較少，且N×M可僅為一單一全像元素。此外，其他因數可影響N×M全像元素區域大小，諸如(例如)接受待並行處理之最大數目個全像元素(或等效地，N之一最大值)之顯示器系統中之約束條件。將基於所獲得之中位像差值而選擇N×M全像元素區域內之最具代表性全像元素。圖6中繪示此選擇準則之一可能實施方案。假定由一所選擇之參考全像元素508之中位像差值指示之深度層中描繪由該全像元素覆蓋之所有物體，當所選擇之參考全像元素508之像素經移位以合成一目標全像元素時，目標全像元素507之一些像素可不存在於參考全像元素中。此等像素位置被稱為孔洞且在圖6中由灰色區域509指示。可鑑於參考全像元素508之中位像差值及其相距於待合成之目標全像元素507之位移δx及δy而計算孔洞之總數目。因此，選擇將來自全像元素之N×M區域內之參考全像元素之鄰近全像元素之孔洞數目降至最低之參考全像元素作為該區域之最具代表性全像元素，且將其新增至參考全像元素清單503。為避免影像之邊界處之假影，若在先前步驟中未新增隅角全像元素，則亦新增此等全像元素504。此外，為避免與N×M全像元素區域內之所選擇之參考全像元素不相關之缺失全像元素，再次檢測所有全像元素之中位像差值。若一非參考全像元素具有比一預定臨限值大之一中位像差值，則將該全像元素新增至參考全像元素清單505且該全像元素變為一參考全像元素。由於該全像元素之中位像差值指示該全像元素與已選擇之參考全像元素無關且含有新紋理，所以該全像元素無法由先前所選擇之全像元素參考重建，且需要將該全像元素新增至參考全像元素清單以用於正常顯現。
先前段落提供用於選擇參考全像元素之兩種方法之描述，然 而，本發明不受限於特定描述之任一方法，且類似方法可用於判定可用於恢復光場之剩餘全像元素之參考全像元素之子集。為判定何種元素影像(或全像元素)與重建場景之資訊最有關聯，需要一預處理步驟或某一類型之先驗資訊。此先驗資訊通常呈(但不限於)場景中之物體位置、定界框、攝像機感測器資訊、目標顯示器資訊及運動向量資訊之形式。
在一電腦產生(CG)之擷取環境(其中電腦產生之3D模型用於擷取一全視差光場影像)中，在開始顯現程序之前，系統已獲知所有資訊。此資訊包含模型之位置、模型之大小、模型之定界框、模型之擷取攝像機資訊(CG攝像機)運動向量及目標顯示器資訊。
為顯示一動態光場，如同顯示由一光場攝像機、一陣列之2D攝像機、一陣列之3D攝像機(其包含雷射測距、IR深度擷取或結構化光深度感測)或一陣列之光場攝像機擷取之一實況場景之情況，預處理方法及資料包含(但不限於)精確或近似物體大小、物體在場景中之位置及定向及其定界框、各目標顯示器之目標顯示器資訊、所有攝像機相對於3D場景全域座標之位置及定向等等。
自適應紋理濾波205-
一光場顯示器系統無法重現小於全像元素大小之光場細節。因此，全像元素大小可特徵化為用於一光場顯示器系統可重現之細節之奈奎斯特(Nyquist)頻率。此外，歸因於任何光場顯示器系統中之光學發散，隨著一重現物體移動遠離顯示器表面，可重現之最高頻率細節變為小於顯示器系統奈奎斯特頻率。因此，由一光場顯示器系統重現之一光場具有顯示奈奎斯特頻率細節之能力，該等奈奎斯特頻率細節更靠近於顯示器表面且低於遠離顯示器表面之奈奎斯特頻率細節(與1/(相距於顯示器表面之距離)成比例)。鑑於此事實，一深度自適應低通濾波器可用於基於參考全像元素深度圖資訊而調整參考全像元素紋 理內容以濾除一光場顯示器系統無法重現之細節。藉由消除物體之不可重現細節，該深度自適應低通濾波器亦具有增大壓縮比且不使所感知之影像品質降級之益處。
深度至像差轉換206-
在電腦繪圖工作流程中，通常將一像素之深度儲存於一緩衝器(亦稱為深度緩衝器或Z-緩衝器)中。在本發明之一實施例中，可從3D模型導出用於合成(顯現)全像元素之深度資訊，且通常可在電腦繪圖工作流程中從Z-緩衝器獲得該深度資訊。本發明之其他實施例可從不同方法(諸如飛行時間(time-of-flight)攝像機)獲得深度，且亦從信號處理程序(諸如立體匹配)獲得深度。例如，立體成對攝像機可用於擷取。在攝像機校準及影像糾正之後，一立體匹配演算法可用於從立體聲提取深度。此結果被稱為一深度圖，且可依類似於來自電腦繪圖之Z-緩衝器之一方式用於本發明中。較佳地使用像差而非深度，此係因為像差可被高度壓縮，其避免劃分操作且可簡化解碼器之實施方案。歸因於全像元素之均勻幾何配置及光學特性類似性，可基於兩個相鄰全像元素之間之距離而將參考全像元素之深度值轉換成正規化像差值。接著，可藉由使參考全像元素之像差值隨著參考全像元素與目標全像元素之間之距離縮放而使用此值來使任何兩個全像元素之間之像素形變。
在將深度轉換成像差之典型方式(先前技術)中，當深度值達到較大負值(-∞)或較大正值(+∞)時，兩種情況中之像差等於零，此導致深度之正負號丟失。另外，壓縮高度期望使像差值量化；此需要先前技術中之一組單獨操作。為解決先前技術之此等兩個缺陷，本發明之較佳實施例保留深度之原始正負號，同時亦依以下方式利用併人定點算術之一量化縮放之一轉換方法： 若深度≠0，則
Figure 104100789-A0202-12-0021-2
若深度=0，則像差=0其中δ係以位元為單位之像差值量化精度，pp係全像元素像素間距，P係全像元素間隔(或間距)，且f係表示全像元素之虛擬攝像機之焦距。最終值介於值-2(n-1)+1至2(n-1)-1之間以將像差值之範圍限制於n個位元之字長內。在本發明之一實施例中，像差精度δ可在從1個位元至16個位元之範圍內，其中較佳值經選擇以允許保持精度同時仍允許簡單像素移位；諸如δ=4。用於表示量化像差值之位元數n取決於系統硬體之架構。從8個位元至64個位元範圍內之像差值字長n將較典型，但較佳地，一有效位元數(諸如n=10)可用於保持彼此遠離之全像元素之整數移位。若需要，則較高數目個位元可用於表示像差值及其精度。利用此轉換，一所得像差值+1表示正無窮深度值(即，位於擷取表面前方之物體)，-1表示具有負無窮深度值之物體(即，位於擷取表面後方之物體)，且0表示不定像差值，且應被視為一例外。應注意，使用像差有利於硬體簡化及資料壓縮，此歸因於使用定點算術及使深度層量化。然而，本發明亦考量使用無任何轉換之深度，或考量將在顯現階段促進像素移位之類似轉換。
多參考DIBR(MR-DIBR)207-
如先前所描述，選擇參考全像元素，其中該等參考全像元素包括整個光場之一部分。非參考全像元素被稱為目標全像元素。使用參考全像元素之紋理及深度圖來合成目標全像元素。此程序亦被稱為深度影像繪圖法(DIBR)。在本發明之所呈現實施例中，所採用之DIBR之兩個獨有態樣在於：其較佳地使用正規化像差而非深度，且參考之數目不受限於一或兩個水平對準之參考，如最先進DIBR演算法中所常見。吾人之方法利用擷取表面平面之2D結構且使用多個參考全像元素來覆蓋目標全像元素且將目標紋理中之孔洞降至最低。該演算法被稱為多參考DIBR(MR-DIBR)，且圖7繪示所採用之合成演算法之組 成。首先，使參考像差701正向形變703，即，將像差值從參考全像元素投影至目標全像元素之位置。所描述之實施例使用從參考值之原始深度圖轉換之像差。使用相鄰全像元素之間之距離來計算像差。為使用用於投影至不同距離處之全像元素之像差值，需要使用界定為全像元素之間之正規化距離之一比例因數。圖8繪示目標全像元素805至807與參考全像元素801至804之組(其用於縮放多個參考全像元素之像差值)之間之距離之一實例。圖8中所繪示之距離提供從參考全像元素至目標全像元素之水平及/或垂直像素移位之量值。應注意，不強制使用像差，且本發明亦包含使用深度值而非經轉換之像差值之實施例。歸因於使用量化值及捨入操作(其歸因於使用定點算術)，形變像差可呈現假影。例如，像差值之量化可在形變像差中產生一至兩個像素寬孔洞，稱為裂縫。因此，使用一像差濾波器704來緩解此等假影。接著，將所有參考之結果一起合併成一最終像差圖705，該最終像差圖表示合成光場像差圖211。此結果與反向形變區塊706中之參考全像元素之紋理一起用於顯現合成光場紋理210。應注意，此程序可涉及分數像素位移，且仍導致來自合併操作之一些孔洞。可使用修補演算法來合成地填充剩餘孔洞。例如，一修補演算法之一可能實施例將背景之紋理水平地延伸至孔洞中。另一可能性係使用納維-斯托克斯(Navier-Stokes)修補演算法來將孔洞之邊界之紋理延伸至空白區域中。本發明不受限於孔洞填充演算法之一特定實施例，而是可使用任何可能方法。
圖9繪示用於本發明之MR-DIBR中之反向形變之一可能實施例之細節。即使各參考全像元素紋理具有整數個像素位置901至904，但一潛在目標全像元素像素905之像差值D可為一非整數值。應對此情形之兩種可能方式係將值捨入為一整數或在使用MR-DIBR來計算全像元素紋理時使用非整數(或分數)位移值。可在反向形變操作中使用分 數位移值Δu及Δv來內插待用於合成之一更適當紋理值。Δ值可與像差值一起用作為加權因數以內插待用於反向形變之一更適當紋理值。可用於本發明之MR-DIBR中之反向形變709之一實施例之另一實例係使用具有不同解析度之全像元素。在此情況中，待由反向形變709使用之參考全像元素紋理可具有高於目標全像元素之解析度。藉由較高解析度參考全像元素紋理而進行藉由像素移位而實施之反向形變操作(如先前所描述)，且接著將結果向下取樣至目標全像元素之解析度。該向下取樣操作可併入濾波，該濾波可用於避免通常由捨入及量化誤差引起之裂縫及孔洞且可潛在地改良合成目標全像元素之最終品質。本文中所提及之方法係本發明之可能實施例，其經併入以改良合成光場之最終品質。此技術及其他類似技術係本發明之下文之一部分。
顯示器匹配之編碼器107-
參考圖10，本發明之一可能實施例利用顯現參考全像元素以及合成參考全像元素來形成合成光場1001，即，來自圖2之合成光場像差211及合成光場紋理210之並集。合成光場1001通常將併入大量相關性且將需要被進一步壓縮。在本發明中，如圖10中所繪示，此藉由使用顯示器匹配之編碼器107來壓縮合成光場資料(如後一段落中所描述)而完成，顯示器匹配之編碼器107壓縮合成光場資料且產生一位元串流1003。顯示器匹配之編碼器107實質上減小資料頻寬以使其可傳輸至顯示器108。顯示器匹配之編碼器以減少全像元素(由全像元素之像素表示)內之局部角資訊為目標，此無法用於壓縮顯現方法中。兩種方法之組合導致資料速率總體減小以使壓縮擷取系統更有效率。顯示器匹配之編碼器之另一益處在於：顯示器之需求可併入至此階段中以使壓縮顯現階段免受實際硬體之影響。就此而言，顯示器匹配之編碼器可充當藉由壓縮顯現階段而達成之結果與顯示器中之解碼硬體之間之一代理(proxy)。例如，若顯示器歸因於記憶體限制而不具有在其 局部重建演算法(DIBR)中使用多個參考之能力，則殘餘全像元素(如以下段落中所解釋)可經發送以補償缺少參考。接著，光場顯示器藉由擷取匹配之解碼器1004而局部地解碼資料(如後一段落中所描述)且重建(調變)212構成光場213之全像元素陣列。應注意，在本發明中，可藉由使用像差資訊而避免光場在傳輸至顯示器之前之全重建，此導致僅處置壓縮資料之一光場成像系統。一般而言，當壓縮顯現利用與場景有關之知識來減少擷取資料時，顯示器匹配之編碼利用與顯示器硬體、軟體及光學能力有關之知識來進一步壓縮資料且亦依對顯示器最有用之一方式格式化資料。可在顯示器匹配之編碼期間考量之顯示器之能力包含(但不限於)顯示器之處理能力、顯示器之介面需求、顯示器中之全像元素數目、全像元素透鏡之小透鏡psf(點擴散函數)、顯示器之觀看距離、顯示器之估計深度範圍、顯示器中之可用記憶體量、顯示更新速率、顯示器視角、顯示器像素間距、顯示器像素數目、顯示器調變能力、顯示器調變速度、顯示器調變模式等等。
本發明之顯示器匹配編碼器之一可能實施例使用旨在達成高壓縮且同時致力於顯示器系統之嚴格處理及記憶體約束之一並行編碼/解碼架構。本發明之顯示器匹配壓縮藉由編碼全像元素(其等之各者在本文中指稱處理節點(PN))之子集而實現顯示器側處之並行解碼。利用由本發明之顯示器匹配編碼器實現之並行解碼，顯示器側處之處理可高度並行以藉由使各PN並行地工作以解碼其各自全像元素子集且共同並行地重建整個光場而達成處理光場資料所需之通量及記憶體。應注意，本發明之顯示器匹配編碼器可經設計以匹配顯示器側處之硬體之選擇及其處理通量及記憶體能力。此係本發明之顯示器匹配編碼器之一重要特徵，因於其允許本發明之3D壓縮成像系統充分利用半導體技術中之不斷進步及其逐步提供之處理通量及記憶體之合成增加。在本發明之不同實施例中，顯示器匹配之編碼器亦可同時處理 不同數目個全像元素，且亦可考量不同像素調變類型，諸如經空間及/或時間多工化之像素。以下段落中所描述之實施例中討論本發明之顯示器匹配編碼器之一些變體。
用於實施本發明之顯示器匹配編碼器的光場之光場全像元素分割之一實例係將全像元素陣列分成包括N×N個全像元素之獨立區域。本發明之其他實施例可不將光場分成獨立全像元素區域，或可使用不同大小之全像元素區域，且包含於此描述中。當使用N=4之一值時，其意謂：由一個PN一起處理包括16個全像元素之一4×4子陣列。N之值係本發明之顯示器匹配編碼器之一組態參數，其根據顯示器處理能力而判定且不受限於給定實例之N=4之值，而是可在從1(當獨立地處理(編碼或解碼)所有全像元素時)至整個光場(當共同處理所有全像元素時)之範圍內。對於PN全像元素區域之各者，執行全像元素之一列掃描，且產生全像元素之一序列。圖11繪示一此類全像元素區域之PN編碼程序之細節。在此實施例中，將獨立地編碼PN全像元素區域內之一或多個全像元素(在本文中各指稱「種子全像元素」)且將相對於所選擇之種子全像元素而編碼各自PN全像元素區域內之剩餘全像元素(在本文中指稱「殘餘全像元素」)。一種子全像元素可為或可不為參考全像元素之一者，此係因為種子全像元素較佳地基於某一度量而選擇，該度量意欲將各自PN區域內之殘餘全像元素所需之位元數目降至最低，同時參考全像元素經選擇以對整個3D影像提供足夠光場資料以重建整個3D影像，較佳地不具有或具有最低限度或最少與系統之頻寬一致之可覆蓋之孔洞及裂縫。
參考圖11，分別由種子全像元素紋理編碼器1107及種子全像元素像差編碼器1106編碼種子全像元素紋理1102及像差1101。以下段落中解釋經處理之編碼之細節。為使用種子全像元素來編碼殘餘全像元素，重要的是編碼器及解碼器兩者使用相同參考。由於用於種子全像 元素之紋理之編碼方法並非是無損失的，所以圖11中所繪示之種子紋理編碼器1107包含重建種子全像元素紋理1105(其係待由解碼器使用之相同紋理)之一內部解碼迴路。對於圖11中所繪示之殘餘編碼程序，使用作為一參考之種子全像元素像差1101來編碼1109殘餘全像元素像差1104。使用種子全像元素之像差1101、殘餘全像元素之像差1104及經重建之種子全像元素紋理1105來編碼1108殘餘全像元素紋理1103。將所有編碼器之結果集合於位元串流1003中。
圖12繪示種子全像元素紋理編碼1107之細節。將種子全像元素紋理1102分段成k×k個像素之區塊1201。對於像素之各區塊，使種子全像元素紋理值位凖移位一固定值1202，即，將紋理像素值減去像素值之可能範圍之中心值以獲得正值及負值(就8位元範圍而言，使用128之一恆定值)。接著，將種子全像元素像素色彩空間轉換成與色彩通道解相關之一色彩空間1203。此實施例之色彩空間轉換之一實例係RGB至YCoCg色彩轉換[30]；然而，亦可不受限制地使用其他色彩空間，其包含(但不限於)YUV或YCbCr。接著，將一區塊變換1204(諸如DCT變換或整數變換或類似者)應用於色彩通道之各者。該變換集中僅少量係數中之種子全像元素區塊之能量。接著，使用根據區塊變換係數之能量之統計及分佈而調整之一縮放參數來量化此等係數1205。由於種子全像元素隨後用作為參考，所以需要儘可能地保持區塊變換係數之品質。接著，使用一DPCM方案1206來單獨編碼DC係數(其通常含有區塊之大多數資訊)，同時使用(例如)曲折掃描及運行長度編碼1207來掃描及編碼AC係數。最後，較佳地使用一霍夫曼(Huffman)熵編碼器、內容自適應二進位算術編碼器(CABAC)或內容自適應可變長度編碼器(CAVLC)或類似者來熵編碼位元串流1208。種子全像元素用作為參考以編碼殘餘全像元素，此意謂：編碼器及解碼器兩者必須使用相同種子全像元素值。由於量化區塊將損失引入至紋 理值，所以藉由解碼器之重建種子全像元素不同於編碼器側處之原始種子全像元素。因此，為在編碼器及解碼器兩者中使用相同參考，將一解碼迴路新增至編碼器以產生用於解碼器側處之重建種子全像元素紋理1105。該解碼迴路由編碼操作之逆過程(逆量化區塊1209、逆變換1210、逆色彩空間轉換1211及逆位凖移位1212)構成。應注意，本發明之範疇不受限於此段落中所描述之編碼步驟及方法(如圖12中所繪示)，且替代編碼方法、演算法及實施方案亦可用於本發明之內文中。
圖13繪示種子全像元素像差編碼1106之細節。由於一種子全像元素之紋理編碼與像差編碼之間不存在相依性，所以可根據可用處理能力而同時或循序地獨立執行紋理及像差編碼。對於像差值之編碼，首先進行值之一列掃描1301，接著執行一運行長度編碼1302。最後，熵編碼該等值1208且將該等值新增至位元串流，藉此較佳地使用一霍夫曼熵編碼器、一內容自適應二進位算術編碼器(CABAC)或一內容自適應可變長度編碼器(CAVLC)或類似者來執行該熵編碼。在此實施例中，在無任何損失之情況下進行像差資訊之壓縮，但亦可使用其他方案來壓縮像差，其包含有損壓縮方案。然而，應注意，類似於紋理，若採用一有損方法，則編碼器必須呈現解碼迴路以重建壓縮像差圖且維持與解碼器同步。應注意，本發明之範疇不受限於此段落中所描述之編碼步驟及方法(如圖13中所繪示)，且替代編碼方法、演算法及實施方案亦可用於本發明之內文中。
圖14繪示殘餘全像元素像差編碼1109之細節。如圖14中所繪示，將殘餘全像元素像差1104與形變種子像差(即，應用深度影像繪圖法(DIBR)1401之後之移位種子像差，DIBR 1401使用針對圖2b之MR-DIBR 209程序所解釋之相同方法)之間之差值分段成k×k個像素之區塊1201，且由於大多數區塊可能為零，所以僅進一步處理非零值。接 著，對此等非零值進行掃描(例如曲折掃描)及運行長度編碼1207，接著在進一步處理該等非零值之前亦對其進行霍夫曼編碼1208。圖15繪示殘餘全像元素紋理編碼1108之細節。參考圖15，DIBR區塊1401使用經重建之種子全像元素紋理1105、種子全像元素像差1101及殘餘全像元素像差1104來產生殘餘全像元素紋理之一像差補償重建。此像差補償重建用作為殘餘全像元素紋理之一預測且藉由將種子全像元素像素移位至殘餘全像元素位置而形成。孔洞可發生於此形變操作期間。基於區塊之變換編碼用於編碼來自此形變操作之孔洞及任何所得不精確性。類似於種子全像元素紋理編碼之程序，將殘餘全像元素紋理1103與其像差補償預測之間之差值分成k×k個像素之區塊1201，轉換1203像素區塊之色彩空間，變換1204像素區塊，量化1205像素區塊，對像素區塊進行掃描及運行長度編碼1207。熵編碼1208結果且將結果新增至位元串流。應注意，本發明之範疇不受限於此段落中所描述之編碼步驟及方法(如圖14中所繪示)，且替代編碼方法、演算法及實施方案亦可用於本發明之內文中。
自適應全像元素編碼速率最佳化-
本發明之顯示器匹配編碼器之一重要特徵係光場顯示器系統之各種組件之間之可用介面頻寬之自適應分配，或等效地，壓縮演算法之位元速率分配。鑑於3D顯示器系統需要過度介面頻寬，可用介面資料速率(或位元速率)被認為是幾乎所有3D顯示器系統中之主要瓶頸。由於在本發明之3D壓縮成像系統中種子全像元素用作為參考，所以此等全像元素編碼有更多位元以儘可能地保持其品質，且在介面資料速率(或位元速率)之分配中被賦予優先權，且根據可用介面資料速率之約束條件而自適應地選擇用於編碼殘餘全像元素之參數。圖16及圖17分別繪示本發明應用以將位元速率自適應地分配給種子全像元素及殘餘全像元素之方法。參考圖16，計算可用於編碼種子全像元素 紋理及像差之總位元數1601。需要最多位元數來編碼其像差之種子全像元素之紋理經選擇以最佳化編碼量化步長1602。用於圖12之量化區塊1205中之編碼量化步長控制存在於紋理之係數中之資訊之層級且因此控制用於編碼紋理之位元數。較大量化步長可減少編碼全像元素所需之位元數，其代價為可能引入失真。由總可用位元速率減去用於編碼像差資訊及標頭資訊所需之速率判定可用於編碼此種子全像元素紋理之位元速率1603。選擇可在編碼種子全像元素紋理時導致最小失真之編碼量化步長參數1604，且接著使用對應編碼量化步長來計算編碼種子全像元素紋理所需之位元速率1605。若所計算之位元速率小於可用位元速率1609，則使用所選擇之量化步長來進行全像元素編碼，否則增大量化步長1607且再次重新評估位元速率計算。此繼續，直至找到允許在可用位元預算內編碼種子參考全像元素之一量化步長1608。參考圖17，存在若干可能編碼模式1701，其等可用於使編碼殘餘全像元素頻寬與可用位元速率匹配，諸如發送校正紋理、像差或甚至跳過全像元素且僅使用可用預測。相對於編碼殘餘全像元素所需之位元速率而評定使用此等模式之任一者時之可行性及所得品質，且消除不可行之編碼模式作為一選擇1702。亦消除導致大於可用位元速率之頻寬之編碼模式1703。使用一拉格朗日(Lagrange)成本最佳化來完成剩餘編碼模式中之選擇1704，其中成本函數由一所選擇之品質度量(例如最小失真)加上λ乘以位元速率界定，其中λ係從量化步長導出之一參數。殘餘全像元素編碼頻寬之最佳化考量可用位元速率，且選擇具有最小成本函數之編碼模式且從可用於殘餘全像元素編碼之總位元減去所使用之位元量1705，且為保持所選擇之品質度量，僅在缺少足夠頻寬時求助於使用較少位元之編碼模式1702。
壓縮光場之解碼-
圖18繪示光場顯示器處所接收之位元串流之解碼流程且提供擷 取匹配解碼器1004之更多細節。本發明之擷取匹配解碼器之主要優點之一在於：光場顯示器接收壓縮位元串流且解碼該位元串流以直接重建光場。直接解碼係可行的，此係因為本發明之全像元素壓縮匹配可用於顯示器側處之全像元素解壓縮之計算能力。顯示器側處之多個解碼器1004接收位元串流且僅在壓縮域中執行處理以重建光場，同時避免使用習知解壓縮技術中所使用之擴展資料方法。若多個解碼器1004並行地運行，則各解碼器負責重建整個光場之僅一部分以確保重建整個光場之足夠處理電力。光場顯示器接收編碼位元串流且首先執行熵解碼1801。通常使用識別封包類型之標頭及顯示器表面上之相關全像元素之座標來封包化位元串流。解碼器1004分析所接收之標頭且僅解壓縮其負責之光場之全像元素。若干封包類型用於信號傳輸不同光場資訊，且此等封包之四種類型含有需要有顯示器進一步解碼之實際全像元素有效負載資訊，該四種類型係種子全像元素紋理、種子全像元素像差、殘餘全像元素紋理及殘餘全像元素像差。對於種子全像元素紋理，在光場顯示器側處執行編碼側之逆操作，其中在DPCM解碼1802之後獲得DC係數，同時在運行長度解碼及掃描1803之後獲得其他係數。所接收之種子全像元素紋理資料進一步經逆量化1209，經逆變換1210，經逆色彩空間轉換1211，且經逆位凖移位1212以產生重建種子全像元素紋理1105。所接收之種子全像元素像差資料經運行長度解碼1804以產生種子全像元素像差1101。接著，將重建種子全像元素紋理1105及種子全像元素像差1101兩者保持於顯示器本端記憶體中。所接收之殘餘全像元素像差資料經運行長度解碼及掃描1803以產生殘餘全像元素像差1104。所接收之殘餘全像元素紋理資料經運行長度解碼1803，經掃描1803，經逆量化1209，經逆變換1210，且經逆色彩空間轉換1211以產生殘餘全像元素紋理1805。DIBR區塊1401採用種子全像元素像差1101且將其正向投影至殘餘全像元素位置。所接收之殘 餘全像元素像差1104可校正此操作中之錯誤。所得全像元素像差用於將所保存之重建種子全像元素紋理1105反向投影至殘餘全像元素位置。此紋理由重建殘餘全像元素紋理1805補充。組合紋理係顯示器之調變像素1005之一子集。應注意，在先前解碼流程中，DIBR區塊僅使用一單一種子全像元素以將顯示器處之記憶體之使用降至最低；替代地，亦可結合一MR-DIBR程序而使用多個種子全像元素，如先前所描述。
動態壓縮光場顯示器-
當光場隨著時間而變動以重現光場內之物體之運動時，將該光場指稱一光場電影或動態光場。在一動態光場中，通常假定光場經得起壓縮，其歸因於存在以下特性之一或多者：空間相關性(物體係平滑的)、時間相關性(物體之運動慢於光場更新速率)、角相關性(當從不同角度觀看時，物體有些類似)。最先進之壓縮技術利用影像資料中之冗餘以使用較少位元來表示影像資料。空間相關性及時間相關性係影像視訊壓縮中之兩個常用特性。藉由預測(框內預測及運動估計)而減少存在於資料中之冗餘(歸因於空間相關性及時間相關性)，因此可藉由較少位元而編碼殘餘資訊(即，原始信號與預測信號之間之差異)，且達成壓縮。有損殘餘編碼之一共同方法係應用變換-量化-編碼之典範，其透過量化而減少信號之熵以在熵編碼階段達成較高壓縮，儘管使信號品質遭受損失。大多數壓縮演算法利用人類視覺系統(HVS)之特性來引入觀看者無法感知之品質損失。就動態3D資料而言，考量視圖之間之類似性。視圖間相關性允許從先前編碼之一視圖預測當前視圖(稱為像差估計之一程序)。最近，3D視訊壓縮技術使用電腦繪圖顯現之概念以從鄰近紋理及深度值產生鄰近視圖之預測(視圖合成預測)且達成多視圖影像之較高壓縮[31]。為使用預測且減少信號冗餘，需要記憶體儲存參考資料。
複雜預測方案可使編碼器/解碼器架構複雜化以增加對記憶體之需求且可在編碼/解碼區塊之間產生相依性，若未將某些設計規定併入至壓縮顯現及顯示器匹配程序中，則該等相依性會妨礙並行處理實施。在本發明之一可能實施例中，本發明之壓縮顯現及顯示器匹配編碼器之並行處理節點(PN)實施於多個層之一階層而非一單一層(如先前所描述)中，亦稱為階層壓縮。本發明之壓縮顯現及顯示器匹配編碼器之此一般化將允許PN叢集之間之資料連接性，類似於PN之各叢集內之節點間連接性。可在壓縮域中於較高並行處理層處達成此PN叢集資料連接性以避免對記憶體之過度需求。在實施例之一態樣中，可使用在連續動態光場更新循環中從一較高處理層發送至光場顯示器層之經指數移位之顯示器匹配編碼全像元素來編碼動態光場更新循環之間之時間變動。在此實施例之另一態樣中，在動態光場更新循環之各者中再檢查本發明之壓縮顯現程序之參考全像元素選擇程序且刪除或新增參考全像元素以反映連續更新循環之間之光場中之時間變動。當超過某一度量時，重複作用光場區域之合成以考量連續更新循環之間之時間變化。可在解碼器側處複製階層式結構，類似於編碼器階層式架構。利用高並行處理層，處理節點可共用資料(諸如種子全像元素)，此將允許資料之階層解壓縮且甚至允許進一步減小資料速率。
本發明亦包含使用時間相關性工具來壓縮一動態光場之編碼方法。例如(但不限於)，本發明可將諸如運動估計及運動補償之技術用於全像元素資料。減少本發明之一動態光場實施方案中之硬體覆蓋區之一方式係再使用硬體元件來實施類似功能。例如，可使用相同硬體及對信號流之一些調適來實施運動補償(MC)及深度影像繪圖法(DIBR)。DIBR硬體組件負責根據由每像素像差值及一給定縮放因數判定之一提供位移值而將全像元素紋理資料移動至新位置。如先前所解釋，使像差值乘以種子全像元素與目標全像元素之間之距離，且此 值充當讀取種子之紋理之一定址方案且將其用作為目標全像元素之一預測。此操作揭露與運動補償技術之諸多類似性，運動補償技術將運動向量用作為一時間參考紋理(通常為過去所編碼之一圖框)之定址指標，接著將該時間參考紋理用作為當前信號之預測。因此，在本發明之一實施例中，一動態光場中之運動補償之實施將利用先前所描述之可用DIBR處理區塊作為本發明之部分，其中首先將光場物體之運動(其解譯為從一光場更新週期至下一光場更新週期之變動)***成垂直分量及水平分量，如圖19中所繪示。為在光場更新時間t+1處對一光場資料區塊1906執行光場運動補償，將光場更新時間t處所獲得之光場資料區塊1901用作為種子全像元素(參閱本發明之內文中之與一種子全像元素之界定及使用有關之先前討論)。由於在此情況中，目標全像元素係相同位置處之全像元素，所以種子全像元素與目標全像元素之間之距離僅在一不同光場更新時間處從(0,0)人為地變為(1,0)以執行種子全像元素之水平運動補償。應注意，該區塊之前一位置需要接收一新紋理，此可藉由發送殘餘紋理區塊1903而達成。接著，重複相同程序1904，此時接收運動向量之垂直分量且將DIBR處理區塊中之種子全像元素與目標全像元素之間之距離從(0,0)人為地修改為(0,1)。最後，處理剩餘殘餘紋理1905，且所得區塊係經運動補償之種子參考。動態光場運動補償之所描述實施可導致發送比習知運動補償多之殘餘資訊，此係因為區塊位移需要在兩個步驟中進行。然而，硬體實施之節省可證明壓縮效能之損失。在本發明之一替代實施例中，若顯示器擁有適當圖框緩衝器，則所考量之更複雜硬體實施將能夠藉由利用用於種子全像元素及目標全像元素編碼及解碼之相同DIBR硬體區塊來同時並行地執行水平移動及垂直移動補償而執行所描述之動態光場運動補償。
為改良速度處理，應付大量資料之另一方式係暫時多工化傳入 資料串流，且循序地處理資料之一較小子集。為表示角資訊，將需要應用空間多工。亦可根據角資訊而對此等像素之處理排序，且顯示器之視場可經劃分使得一次處理角資訊之一較小集合。參考文獻[32,33]描述藉由時間上調變光之角分段而建構光場之一光場調變器。在此一光場調變器中，光場之分段用於使用最小調變表面空間覆蓋區來實現最大光場角範圍或視場(FOV)以及角解析度。使用最小調變表面空間覆蓋區來達成最大FOV及角解析度對達成高清晰度之無VAC全視差3D觀看體驗而言至關重要。
本發明之一實施例利用參考文獻[32,33]中所描述之光場調變器之光場分段來實施本發明之光場壓縮顯現及顯示器匹配壓縮。參考文獻[32,33,36]描述藉由光場成像系統之旋轉(鉸接)及平移(光場發射器及/或光電二極體陣列之移動)而時間多工化光場資料之方法。在使用參考文獻[32,33,36]中所描述之方法之一光場顯示器系統中，可依一時間多工化方式進行本發明之所有壓縮方法，從擷取至顯示。此允許藉由再使用顯示器像素、記憶體及壓縮光場資料等等而更有效率地使用擷取及顯示器系統資源，且除達成參考文獻[32,33,36]中所描述之其他益處之外，亦可達成增大FOV及/或增大解析度。在參考文獻[32,33]中所描述之光場調變器之內文中應用本發明之光場壓縮方法之益處係：(1)參考文獻[32,33]之光場之光場分段將光場分成「多工分段」，藉此各此類分段將含有可在本發明之壓縮顯現及顯示器匹配壓縮中被利用之大量分段內相關性；(2)參考文獻[32,33]之光場分段將全光場自然地分成全像元素調變群組，該等全像元素調變群組可直接用作為光場分割(其應用於本發明之內文中以選擇壓縮顯現參考全像元素區域)及顯示器匹配之壓縮解碼種子全像元素分組；(3)參考文獻[32,33]之光場之時間多工允許有效率地循序使用本發明之顯示器匹配壓縮之解碼器資源；及(4)參考文獻[32,33]之光場分段將全光場自 然地分成全像元素調變群組，該等全像元素調變群組可直接用作為本發明之壓縮顯現及顯示器匹配壓縮之所描述並行實施之基礎。
熟習此項技術者將容易明白，可在不背離隨附申請專利範圍中所界定及由隨附申請專利範圍界定之本發明之範疇之情況下將各種修改及改變應用於本發明之實施例。應瞭解，本發明之上述實例僅具繪示性，且本發明可在不背離其精神或本質特性之情況下體現為其他特定形式。例如，儘管已針對所解釋實施例之反向形變(如圖9中所繪示)而描述線性內插法之使用，但其他類型之內插法(諸如二次內插法或三次內插法)亦可用於提供內插影像之改良精確性。因此，所揭示之實施例不應被視為意指限制。本發明之範疇由隨附申請專利範圍而非先前描述指示，且落入本發明之等效物之含義及範圍內之所有變動意欲包含於本發明中。
101‧‧‧場景/三維(3D)資料
106‧‧‧壓縮顯現
107‧‧‧顯示器匹配之編碼器
108‧‧‧顯示器
109‧‧‧壓縮擷取系統

Claims (7)

  1. 一種用於光場成像系統之方法，其包括：藉由執行一可視度測試來判定來自使用以擷取一場景之輸入光場資料之一攝像機陣列之一或多個攝像機，藉由一壓縮擷取系統，從表示該輸入光場資料之複數個光場全像元素選擇參考全像元素，該等參考全像元素係該複數個光場全像元素之一子集；藉由該壓縮擷取系統，產生參考全像元素紋理及用於該等經選擇參考全像元素之一相關聯深度圖；藉由該壓縮擷取系統，轉換該相關聯深度圖為一像差圖；及藉由該壓縮擷取系統，將該參考全像元素紋理及該像差圖傳輸至一光場成像系統之一顯示器，用於調變在該顯示器處之一光場；其中執行該可視度測試包括：對該複數個光場全像元素之各者計算一度量準則；將該複數個光場全像元素分成一或多個全像元素區域，該一或多個全像元素區域之各者具有經選擇及增加至一參考全像元素清單之一代表性全像元素；回應於判定先前沒有增加隅角全像元素至該清單，增加該等隅角全像元素至該清單；及增加一或多個額外全像元素至該清單，其中該一或多個額外全像元素與各個全像元素區域內之該代表性全像元素不相關。
  2. 如請求項1之方法，其進一步包括：藉由該顯示器，接收該參考全像元素紋理及該像差圖； 藉由該顯示器，使用該參考全像元素紋理及該像差圖而合成重建光場紋理及重建光場像差；及藉由該顯示器，在該顯示器處使用該經合成重建光場紋理及經合成重建光場像差而調變該光場。
  3. 如請求項1之方法，其中在傳輸該參考全像元素紋理及該像差圖之前，對該參考全像元素紋理進行濾波以從該參考全像元素紋理移除高頻內容。
  4. 如請求項2之方法，其中使用多參考深度影像繪圖法(MR-DIBR)演算法執行合成該重建光場紋理及該重建光場像差。
  5. 如請求項3之方法，其中使用適應紋理濾波對該全像元素紋理執行濾波。
  6. 如請求項1之方法，其中基於相鄰參考全像元素之間的距離而執行轉換該相關聯深度圖為該像差圖。
  7. 如請求項2之方法，其進一步包括格式化該參考全像元素紋理及該像差圖為減少用於傳輸至該顯示器之資料頻寬之一位元串流。
TW104100789A 2014-01-10 2015-01-09 用於全視差壓縮光場三維成像系統之方法 TWI685679B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461926069P 2014-01-10 2014-01-10
US61/926,069 2014-01-10

Publications (2)

Publication Number Publication Date
TW201531745A TW201531745A (zh) 2015-08-16
TWI685679B true TWI685679B (zh) 2020-02-21

Family

ID=52395250

Family Applications (3)

Application Number Title Priority Date Filing Date
TW104100789A TWI685679B (zh) 2014-01-10 2015-01-09 用於全視差壓縮光場三維成像系統之方法
TW110110563A TWI807286B (zh) 2014-01-10 2015-01-09 用於全視差壓縮光場三維成像系統之方法
TW108141371A TWI724626B (zh) 2014-01-10 2015-01-09 用於全視差壓縮光場三維成像系統之方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW110110563A TWI807286B (zh) 2014-01-10 2015-01-09 用於全視差壓縮光場三維成像系統之方法
TW108141371A TWI724626B (zh) 2014-01-10 2015-01-09 用於全視差壓縮光場三維成像系統之方法

Country Status (7)

Country Link
US (2) US10244223B2 (zh)
EP (1) EP3092804A2 (zh)
JP (1) JP6526686B2 (zh)
KR (1) KR102450688B1 (zh)
CN (1) CN106068645B (zh)
TW (3) TWI685679B (zh)
WO (1) WO2015106031A2 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2468997A (en) 2008-01-22 2010-09-29 Univ Arizona State Head-mounted projection display using reflective microdisplays
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9244277B2 (en) 2010-04-30 2016-01-26 The Arizona Board Of Regents On Behalf Of The University Of Arizona Wide angle and high resolution tiled head-mounted display device
BR112014018154A8 (pt) 2012-01-24 2017-07-11 Univ Arizona Visor de monitoramento ocular montado na cabeça
JP2015008387A (ja) 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
CN106662731B (zh) 2014-03-05 2019-11-15 亚利桑那大学评议会 可佩戴3d增强现实显示器
CN106105190B (zh) * 2014-03-13 2018-11-13 高通股份有限公司 用于3d-hevc的简化高级残余预测
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
WO2015157769A1 (en) * 2014-04-11 2015-10-15 The Regents Of The University Of Colorado, A Body Corporate Scanning imaging for encoded psf identification and light field imaging
EP3014578B1 (en) 2014-04-30 2018-08-01 Intel Corporation System for and method of generating user-selectable novel views on a viewing device
WO2016011087A1 (en) * 2014-07-15 2016-01-21 Ostendo Technologies, Inc. Preprocessor for full parallax light field compression
US10168833B2 (en) * 2014-09-03 2019-01-01 Hewlett-Packard Development Company, L.P. Presentation of a digital image of an object
FR3026261A1 (fr) * 2014-09-22 2016-03-25 Orange Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
GB2535475B (en) * 2015-02-16 2019-09-18 Canon Kk Optimized plenoptic image encoding
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
EP3070942B1 (en) * 2015-03-17 2023-11-22 InterDigital CE Patent Holdings Method and apparatus for displaying light field video data
WO2016172384A1 (en) 2015-04-23 2016-10-27 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
WO2016172385A1 (en) 2015-04-23 2016-10-27 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
EP3104595A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Light field imaging device
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
NZ752336A (en) * 2015-08-18 2023-06-30 Magic Leap Inc Virtual and augmented reality systems and methods
JP6450288B2 (ja) * 2015-09-18 2019-01-09 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
EP3176732A1 (en) * 2015-12-02 2017-06-07 Thomson Licensing Method for generating a fingerprint for a light field image capture, computer readable storage medium and apparatus configured to generate a fingerprint for a light field image capture
CN106375694B (zh) * 2015-12-31 2019-04-23 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106254858B (zh) * 2015-12-31 2018-05-04 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106254753B (zh) * 2015-12-31 2019-03-12 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106254857B (zh) * 2015-12-31 2018-05-04 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
ES2932185T3 (es) 2016-02-26 2023-01-16 Univ Southern California Obtención de imágenes volumétricas optimizadas con iluminación de volumen selectivo y detección de campo de luz
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10109100B2 (en) * 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
CN109076148B (zh) 2016-04-12 2021-02-05 奎蒂安特有限公司 日常场景重建引擎
EP3239795A1 (en) * 2016-04-27 2017-11-01 ABB Schweiz AG A method and system for commissioning and optimization of a production line
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
WO2017210781A1 (en) * 2016-06-07 2017-12-14 Airy3D Inc. Light field imaging device and method for depth acquisition and three-dimensional imaging
US10991144B2 (en) * 2016-07-29 2021-04-27 Sony Corporation Image processing apparatus and image processing method
JP7028168B2 (ja) * 2016-07-29 2022-03-02 ソニーグループ株式会社 画像処理装置および画像処理方法
CA3033651C (en) 2016-08-12 2023-09-05 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
US10298914B2 (en) * 2016-10-25 2019-05-21 Intel Corporation Light field perception enhancement for integral display applications
KR20180056313A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치
US10373384B2 (en) * 2016-12-12 2019-08-06 Google Llc Lightfield compression using disparity predicted replacement
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10573056B2 (en) * 2017-03-06 2020-02-25 3D Patents, Llc Multi-view processing unit systems and methods
US20180262758A1 (en) 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US10375398B2 (en) 2017-03-24 2019-08-06 Google Llc Lightfield compression for per-pixel, on-demand access by a graphics processing unit
US10769818B2 (en) 2017-04-09 2020-09-08 Intel Corporation Smart compression/decompression schemes for efficiency and superior results
CN106973293B (zh) * 2017-04-21 2020-10-27 中国科学技术大学 基于视差预测的光场图像编码方法
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11288834B2 (en) * 2017-05-23 2022-03-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
JP7042286B2 (ja) * 2017-06-05 2022-03-25 グーグル エルエルシー 滑らかに変化するフォービエイテッドレンダリング
US10652579B2 (en) 2017-06-12 2020-05-12 Dolby Laboratories Licensing Corporation Coding multiview video
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
WO2019012662A1 (ja) * 2017-07-13 2019-01-17 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置
US11109066B2 (en) 2017-08-15 2021-08-31 Nokia Technologies Oy Encoding and decoding of volumetric video
WO2019034807A1 (en) * 2017-08-15 2019-02-21 Nokia Technologies Oy SEQUENTIAL CODING AND DECODING OF VOLUMETRIC VIDEO
US10432944B2 (en) * 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US11171665B2 (en) * 2017-09-11 2021-11-09 Nyriad Limited Dictionary-based data compression
US10234380B1 (en) * 2017-09-29 2019-03-19 Konica Minolta Laboratory U.S.A., Inc. Background radiance estimation and gas concentration-length quantification method for optical gas imaging camera
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
CN108089958B (zh) * 2017-12-29 2021-06-08 珠海市君天电子科技有限公司 Gpu测试方法、终端设备和计算机可读存储介质
CN112074782A (zh) * 2018-01-14 2020-12-11 光场实验室公司 用于渲染来自3d环境的数据的***和方法
EP3769512A4 (en) * 2018-03-22 2021-03-24 Arizona Board of Regents on Behalf of the University of Arizona METHOD FOR REPRESENTING LIGHT FIELD IMAGES FOR AN INTEGRAL IMAGE-BASED LIGHT FIELD DISPLAY
US10931956B2 (en) * 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CA3097202A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
CN110785788B (zh) * 2018-05-31 2024-05-31 谷歌有限责任公司 用于主动立体深度感测的***和方法
US11172222B2 (en) * 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
AU2019315758B2 (en) * 2018-08-03 2023-04-06 V-Nova International Ltd Entropy coding for signal enhancement coding
WO2020040521A1 (ko) * 2018-08-21 2020-02-27 삼성전자 주식회사 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
RU2690757C1 (ru) 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
US10623660B1 (en) * 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
US11119253B2 (en) * 2018-09-28 2021-09-14 Avalon Holographics Inc. Direct projection light field display
WO2020061714A1 (en) * 2018-09-28 2020-04-02 Peckham Jordan Direct projection light field display
KR102577447B1 (ko) * 2018-11-02 2023-09-13 한국전자통신연구원 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법
BR102019000922A2 (pt) 2019-01-16 2020-10-13 Samsung Eletrônica da Amazônia Ltda. Método para comprimir dados de campo de luz usando transformadas de quatro dimensões de tamanho de bloco variável e decomposição por planos de bits
US11252392B2 (en) 2019-02-22 2022-02-15 Avalon Holographies Inc. Layered scene decomposition CODEC with layered depth imaging
US11670039B2 (en) 2019-03-04 2023-06-06 Dolby Laboratories Licensing Corporation Temporal hole filling for depth image based video rendering
US11991402B2 (en) * 2019-03-26 2024-05-21 Interdigital Vc Holdings, Inc. System and method for multiplexed rendering of light fields
CN109996067B (zh) * 2019-04-04 2021-02-02 清华大学深圳研究生院 一种基于深度的全光图像自适应卷积编码方法
GB2586838B (en) * 2019-09-05 2022-07-27 Sony Interactive Entertainment Inc Free-viewpoint method and system
US11682144B2 (en) * 2019-10-06 2023-06-20 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
US11195259B2 (en) * 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
US11169381B2 (en) * 2019-12-05 2021-11-09 Six15 Technologies Head-mounted display apparatus
TWI723683B (zh) * 2019-12-17 2021-04-01 瑞昱半導體股份有限公司 視訊介面轉換裝置及方法
CN111487593B (zh) * 2020-03-17 2024-06-11 中国人民解放军国防科技大学 一种残缺雷达信号修复方法
US10893258B1 (en) * 2020-05-12 2021-01-12 National Taiwan University Displacement-oriented view synthesis system and method
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
US11359915B1 (en) * 2020-05-15 2022-06-14 Lockheed Martin Corporation Active optical compressive sensing
US11449004B2 (en) 2020-05-21 2022-09-20 Looking Glass Factory, Inc. System and method for holographic image display
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
JP7390265B2 (ja) * 2020-08-07 2023-12-01 Kddi株式会社 仮想視点映像レンダリング装置、方法およびプログラム
CN111899325B (zh) * 2020-08-13 2024-02-23 网易（杭州）网络有限公司 晶石模型的渲染方法、装置、电子设备及存储介质
KR102403361B1 (ko) * 2020-11-30 2022-05-27 원광대학교산학협력단 플렌옵틱 동영상 콘텐츠 데이터 포맷 구조의 생성장치
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
BR102021001287A2 (pt) 2021-01-22 2022-08-02 Samsung Eletrônica da Amazônia Ltda. Método para comprimir dados de light-field
TWI772108B (zh) * 2021-07-15 2022-07-21 瑞鼎科技股份有限公司 計算型顯示器及其運作方法
CN113613011B (zh) * 2021-07-26 2022-09-30 北京达佳互联信息技术有限公司 一种光场图像压缩方法、装置、电子设备及存储介质
US20230130996A1 (en) * 2021-10-22 2023-04-27 Tencent America LLC Adaptive streaming for lightfield or holographic media
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction
CN116797710A (zh) * 2022-03-15 2023-09-22 华为技术有限公司 编码方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043096A1 (en) * 2006-04-04 2008-02-21 Anthony Vetro Method and System for Decoding and Displaying 3D Light Fields
US20130342644A1 (en) * 2012-06-20 2013-12-26 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613048A (en) 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6366370B1 (en) 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
US6738533B1 (en) 2000-03-29 2004-05-18 Microsoft Corporation Minimum sampling rate and minimum sampling curve for image-based rendering
WO2006116134A2 (en) 2005-04-21 2006-11-02 William Marsh Rice University Method and apparatus for compressive imaging device
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7653248B1 (en) 2005-11-07 2010-01-26 Science Applications International Corporation Compression for holographic data and imagery
US20090273662A1 (en) * 2006-03-15 2009-11-05 Zebra Imaging, Inc. Systems and Methods for Calibrating a Hogel 3D Display
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
DE102007023738A1 (de) * 2007-05-16 2009-01-08 Seereal Technologies S.A. Verfahren und Einrichtung zum Rekonstruieren einer dreidimensionalen Szene in einem holographischen Display
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
US8098265B2 (en) 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
US8605081B2 (en) 2008-10-26 2013-12-10 Zebra Imaging, Inc. Converting 3D data to hogel data
EP2348733A4 (en) 2008-10-27 2012-09-12 Lg Electronics Inc METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES
RU2538333C2 (ru) 2009-01-20 2015-01-10 Конинклейке Филипс Электроникс Н.В. Передача данных 3d изображения
US8681185B2 (en) 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
US20100231585A1 (en) 2009-03-13 2010-09-16 Zebra Imaging, Inc. Systems and Methods for Processing Graphics Primitives
US20100309287A1 (en) 2009-03-20 2010-12-09 Rodriguez Tony F 3D Data Representation, Conveyance, and Use
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
US8284237B2 (en) 2009-09-09 2012-10-09 Nokia Corporation Rendering multiview content in a 3D video system
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR20110064161A (ko) 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
AU2011234163B2 (en) 2010-03-31 2015-10-29 Interdigital Ce Patent Holdings 3D disparity maps
US8473438B2 (en) 2010-04-13 2013-06-25 Empire Technology Development Llc Combined-model data compression
KR101710198B1 (ko) * 2010-06-14 2017-02-27 주식회사 비즈모델라인 홀로그램 객체 표시 방법
JP2012034215A (ja) * 2010-07-30 2012-02-16 Sony Corp 画像処理装置および方法、並びにプログラム
US8994792B2 (en) 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US8624719B2 (en) 2011-06-03 2014-01-07 Bosch Automotive Service Solutions Llc Smart phone control and notification for an electric vehicle charging station
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的***及方法
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
KR101906936B1 (ko) * 2012-01-19 2018-10-11 삼성전자주식회사 라이트 필드 홀로그램 생성 장치 및 방법
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US9300932B2 (en) 2012-05-09 2016-03-29 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的***及方法
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
CN103048867A (zh) * 2012-12-31 2013-04-17 中国科学院自动化研究所 多模式混合投影的真三维显示***
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9177393B2 (en) 2013-02-04 2015-11-03 Qualcomm Incorporated Mixed mode for frame buffer compression
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014145003A1 (en) 2013-03-15 2014-09-18 Ostendo Technologies, Inc. Dynamic gamut display systems, methods, and applications thereof
US9392129B2 (en) 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
TWI625551B (zh) 2013-03-15 2018-06-01 傲思丹度科技公司 具有改良之視角深度及解析度之三維光場顯示器及方法
JP2015008387A (ja) 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US9357236B2 (en) 2014-03-13 2016-05-31 Intel Corporation Color compression using a selective color transform
WO2016011087A1 (en) 2014-07-15 2016-01-21 Ostendo Technologies, Inc. Preprocessor for full parallax light field compression
WO2016172385A1 (en) 2015-04-23 2016-10-27 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043096A1 (en) * 2006-04-04 2008-02-21 Anthony Vetro Method and System for Decoding and Displaying 3D Light Fields
US20130342644A1 (en) * 2012-06-20 2013-12-26 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Marcus Magnor and Bernd Girod, "Data Compression for Light-Field Rendering,"IEEE Transactions on Circuits and systems for Vedio Technology, Vol. 10, No. 3, pp. 338-343, Apr. 2000. https://ieeexplore.ieee.org/document/836278/ *

Also Published As

Publication number Publication date
CN106068645B (zh) 2019-04-16
WO2015106031A2 (en) 2015-07-16
KR20160107265A (ko) 2016-09-13
TW201531745A (zh) 2015-08-16
JP2017511017A (ja) 2017-04-13
US20190222821A1 (en) 2019-07-18
EP3092804A2 (en) 2016-11-16
WO2015106031A3 (en) 2015-09-03
TW202006422A (zh) 2020-02-01
TW202127869A (zh) 2021-07-16
US20150201176A1 (en) 2015-07-16
TWI724626B (zh) 2021-04-11
JP6526686B2 (ja) 2019-06-05
KR102450688B1 (ko) 2022-10-05
TWI807286B (zh) 2023-07-01
US10244223B2 (en) 2019-03-26
CN106068645A (zh) 2016-11-02

Similar Documents

Publication Publication Date Title
TWI685679B (zh) 用於全視差壓縮光場三維成像系統之方法
US10528004B2 (en) Methods and apparatus for full parallax light field display systems
JP5763184B2 (ja) ３次元画像に対する視差の算出
US7916934B2 (en) Method and system for acquiring, encoding, decoding and displaying 3D light fields
US11159824B1 (en) Methods for full parallax light field compression
US10448030B2 (en) Content adaptive light field compression
US20080205791A1 (en) Methods and systems for use in 3d video generation, storage and compression
US11172222B2 (en) Random access in encoded full parallax light field images
US20180350038A1 (en) Methods and Systems for Light Field Compression With Residuals
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees