TW201944775A - 用於以多參考深度影像為基礎演顯像差圖合併及像差臨限值判定之方法 - Google Patents

用於以多參考深度影像為基礎演顯像差圖合併及像差臨限值判定之方法 Download PDF

Info

Publication number
TW201944775A
TW201944775A TW108112656A TW108112656A TW201944775A TW 201944775 A TW201944775 A TW 201944775A TW 108112656 A TW108112656 A TW 108112656A TW 108112656 A TW108112656 A TW 108112656A TW 201944775 A TW201944775 A TW 201944775A
Authority
TW
Taiwan
Prior art keywords
aberration
light field
images
view
data
Prior art date
Application number
TW108112656A
Other languages
English (en)
Other versions
TWI743467B (zh
Inventor
劉萬凱
薩賀 Y 艾帕斯朗
葛洛力 哈森 Ｓ 艾爾
Original Assignee
美商傲思丹度科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商傲思丹度科技公司 filed Critical 美商傲思丹度科技公司
Publication of TW201944775A publication Critical patent/TW201944775A/zh
Application granted granted Critical
Publication of TWI743467B publication Critical patent/TWI743467B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

揭示用於光場影像編碼及解碼之方法及系統。根據一些實施例，接收與一場景相關聯之場景後設資料及輸入光場影像。對該場景後設資料及輸入光場影像執行一第一編碼操作以產生參考影像、參考像差資訊及參考視圖之一順序。基於該等參考影像及參考像差資訊執行一第二編碼操作以輸出光場編碼資料。該光場編碼資料包含該等經編碼參考影像、該等經編碼參考像差資訊及參考視圖之該順序。傳輸該光場編碼資料。

Description

用於以多參考深度影像為基礎演顯像差圖合併及像差臨限值判定之方法
本發明之實施例大體上係關於光場顯示資料壓縮。更明確言之，本發明之實施例係關於以多參考深度影像為基礎演顯(MR-DIBR)像差圖合併之改良，其使得能夠使用參考深度或像差來壓縮光場影像。
光場影像資料壓縮已變得必要以容納與全視差及全色光場顯示相關聯之大量影像資料，該影像資料大體上包括數百萬個元素影像，各包括數百萬個像素資料。使用以深度影像為基礎演顯(DIBR)之先前技術光場壓縮方法雖然對於元素影像之壓縮有效，但通常不能併入以可接受之壓縮比提供高品質光場影像所需之遮蔽及空洞填補功能。
此一先前技術DIBR壓縮方法之一實例揭示於(例如)題為「Methods for Full Parallax Compressed Light Field Synthesis Utilizing Depth Information」之美國專利公開案第2016/0360177號中，該案之揭示內容以引用的方式併入本文中。
光場顯示器調變光之強度及方向以重建一場景中之三維(3D)物體，而無需專門眼鏡以供觀看。為了實施此目的，光場顯示器利用大量視圖，其在3D處理鏈之影像獲取及傳輸階段中強加若干挑戰。資料壓縮係容納光場顯示影像中涉及之非常大之資料集之一必要工具。為了容納相關聯之大資料集，通常此等系統在影像產生階段對視圖進行子採樣且接著在顯示階段重建子採樣視圖。
例如，在Yan等人「Integral image compression based on optical characteristics」，Computer Vision, IET 第5卷第3號第164、168頁(2011年5月)及Yan Piao等人「Sub-sampling elemental images for integral imaging compression」，2010International Conference on Audio Language and Image Processing (ICALIP) 第1164、1168頁(2010年11月23日至25日)中，作者基於顯示系統之光學特性執行元素影像之子採樣。
在Jin-Xiang Chai等人 (2000)「Plenoptic sampling」在Proceedings of the 27th annual conference on Computer graphics and interactive techniques (SIGGRAPH '00)中及Gilliam, C.等人「Adaptive plenoptic sampling」，201118th IEEE International Conference on Image Processing (ICIP) 第2581、2584頁(2011年9月11日至14日)之著作中發現一種光場採樣之更正式方法。為了在顯示側重建光場視圖，使用自電腦圖形方法至以影像為基礎演顯方法之若干不同方法。
在電腦圖形方法中，建立一場景或一場景之一視圖之動作已知為「視圖演顯」。在電腦圖形中，使用自相機觀點併入照明及表面性質之一複雜3D幾何模型。此視圖演顯方法大體上需要多個複雜操作及場景幾何之一詳細知識。
替代地，以影像為基礎演顯(IBR)可運用用於直接自過採樣光場之輸入影像來合成視圖之多個周圍視點之使用來取代複雜3D幾何模型之使用。儘管IBR產生逼真視圖，但IBR需要更密集之資料獲取程序、資料儲存及光場中之冗餘。為了減少此資料處置懲罰，一經改良IBR方法(指稱以深度影像為基礎演顯(DIBR))利用來自一3D幾何模型之深度資訊以減少所需之IBR視圖之數目。(參見，例如，2010年3月之美國專利案第8,284,237號之「View Synthesis Reference Software (VSRS) 3.5」wg11. sc29.org及2004年12月美國加利福尼亞舊金山Proceedings of Picture Coding Symposium中之C. Fehn「3D-TV Using Depth-Image-Based Rendering (DIBR)」)。在DIBR方法中，各視圖具有與已知為一深度圖之各像素位置相關聯之一深度，該深度圖用於合成缺少之視圖。
DIBR方法通常具有三個不同步驟：即1)視圖變換(view warping)(或視圖投影)；2)視圖合併；及3)空洞填補。
視圖變換係由一個相機擷取至另一個相機之影像平面之一場景之重新投影。此程序利用由參考視圖內之每像素深度資訊及擷取裝置之特徵提供之場景之幾何形狀，即，相機之固有(例如，焦距、主點)及外在(例如，旋轉、3D位置)參數(2004年12月美國加利福尼亞舊金山Proceedings of Picture Coding Symposium中之C. Fehn「3D-TV Using Depth-Image-Based-Rendering (DIBR)」)。
視圖變換/視圖投影步驟有時在兩個單獨階段中執行：僅投影像差值之一正向變換階段及自參考提取色彩值之一逆向變換階段。由於像差變換可受捨入及深度量化之影響，因此可將一選用之像差濾波區塊新增至系統以校正錯誤之變換像差值。
在變換一個參考視圖之後，目標影像或視圖之部分可仍為未知。由於不同深度之物體以不同表觀速度移動，因此在參考視圖中被一個物體隱藏之場景之部分可在目標視圖中解除遮蔽或進入視野，而目標視圖之此部分之色彩資訊不可自參考視圖獲得。通常，多個參考視圖(諸如一第一參考視圖及一第二參考視圖)用於自多個相機視點涵蓋場景，使得可自另一參考視圖獲得一個參考視圖之解除遮蔽部分。利用多個參考視圖，不僅可自不同參考視圖獲得場景之解除遮蔽部分，而且可同時藉由多個參考視圖來視覺化場景之部分。因此，參考視圖之變換視圖可互補且同時重疊。
視圖合併係將多個參考視圖一起帶入至一單個視圖中之操作。若來自不同參考視圖之像素經映射至相同位置，則深度值用於判定主視圖，其將由最靠近視圖或若干參考視圖之一內插給出。
即使具有多個參考視圖，存在在目標視圖中視覺化之場景之一部分與參考視圖中之任何色彩資訊不對應之可能性。缺少色彩資訊之彼等位置指稱「空洞」且在先前技術中已提出若干空洞填補方法以用來自周圍像素值之色彩資訊填補此等空洞。通常，歸因於物體解除遮蔽及與背景色彩相關之缺失色彩資訊而產生空洞。已提出根據背景色彩資訊填補空洞之若干方法(例如，Kwan-Jung Oh等人「Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-D video」，Picture Coding Symposium, 2009，2009年5月，PCS 2009，第1、4、6至8頁)。
歸因於許多顯示裝置之解析度限制，DIBR方法尚未完全令人滿意地應用於全視差光場影像。然而，隨著具有非常小之像素間距之高解析度顯示裝置之出現(例如，美國專利案第8,567,960號)，使用DIBR技術之全視差光場之視圖合成現係可行。
在Levoy等人中，利用兩個平行平面之間的光射線內插來擷取一光場並重建其視點(參見，例如，Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (SIGGRAPH '96)中之Marc Levoy等人(1996)「Light field rendering」)。然而，為了達成真實結果，此方法需要產生及處理大量資料。若考慮場景之幾何形狀(明確言之深度)，則可實施資料產生及處理之一顯著減少。
在Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (SIGGRAPH '96)中之Steven J. Gortler等人(1996)「The lumigraph」中，作者提出使用深度來校正射線內插，且在Proceedings of the 27th annual conference on Computer graphics and interactive techniques (SIGGRAPH '00)中之Jin-Xiang Chai等人(2000)「Plenoptic sampling」中，展示視圖演顯品質與視圖之數目及可用深度成正比例。當使用更多深度資訊時，需要更少參考視圖。然而，不利的是，以深度影像為基礎演顯方法歸因於不準確之深度值且歸因於合成方法之精度限制而容易出錯。
深度獲取本身係一複雜問題。光場成像系統大體上利用一相機陣列，其中藉由不同相機位置處之對應物體特徵來估計一物體之深度。歸因於場景中之遮蔽或光滑表面，此方法易於出錯。最近，已使用若干用於深度獲取之主動方法，諸如深度相機及飛行時間相機。然而，經擷取深度圖呈現儘管振幅低，但對視圖合成程序產生不利影響之雜訊位準。
為處理不準確場景幾何資訊，某些習知方法應用一預處理步驟來濾波所擷取之深度圖。例如，在Kwan-Jung Oh等人「Depth Reconstruction Filter and Down / Up Sampling for Depth Coding in 3-D Video」，Signal Processing Letters ，IEEE ，第16卷第9號第747、750頁 (2009年9月)中，提出一種濾波方法來平滑深度圖，同時增強其邊緣。在Shujie Liu等人「New Depth Coding Techniques With Utilization of Corresponding Video」，IEEE Transactions on Broadcasting ，第57卷第2號第551、561頁(2011年6月)中，提出一種三邊濾波器(trilateral filter)，其將對應色彩資訊新增至一習知雙邊濾波器中以改良色彩與深度之間的匹配。然而，深度資訊之預處理不消除合成假影且對於低延時系統而言運算密集且不實用。
與視圖合併有關之一已知問題係在視圖之間發生之色彩不匹配。在Yang L等人(2010)「Artifact reduction using reliability reasoning for image generation of FTV」J Vis Commun Image Represent，第21卷第542至560頁(2010年7月至8月)中，作者提出將一參考視圖變換至另一參考視圖位置以驗證兩個參考之間的對應關係。在變換期間不使用不可靠之像素(即，在兩個參考中具有一不同色彩值之像素)。為了保留參考像素之數目，作者在Proc. Stereoscopic Displays and Applications XXI中之「Novel view synthesis with residual error feedback for FTV」第7524卷(2010年1月)第75240L-1-12頁(H. Furihata等人)中提出使用自兩個參考視圖中之對應像素之間的差獲得之一色彩校正因數。儘管此經提出方法改良演顯品質，但改良之代價係增加運算時間及記憶體資源以確保所需之校驗像素色彩及深度。
習知合成方法針對彼此相對接近之參考視圖進行最佳化，並且此等DIBR方法對於光場子採樣之效果較差，其中參考視圖彼此進一步分開。此外，為了減少相關資料處置負載，用於視圖合成之此等習知方法通常僅針對水平視差視圖，而垂直視差資訊未經處理。
在3D編碼標準化之程序中(ISO/IEC JTC1/SC29/WG11《Call for Proposals on 3D Video Coding Technology》瑞士日內瓦，2011年3月)，視圖合成視作3D顯示處理鏈之部分，因為其允許擷取及顯示階段之分離。藉由在顯示側併入視圖合成，需要擷取更少視圖。
雖然合成程序不是標準之部分，但動畫專家組(MPEG)群提供一視圖合成參考軟體(VSRS)，如美國專利案第8,284,237號中所揭示，其可用於評估3D視訊系統。用於視圖合成之VSRS軟體實施方案技術包含所有三個階段：視圖變換、視圖合併及空洞填補。由於VSRS可搭配任何類型之深度圖使用(包含自電腦圖形模型獲得之實況(ground-truth)深度圖，直至來自立體對影像之估計深度圖)，因此併入許多複雜技術以自適地處理深度圖缺陷及合成不準確性。
對於VSRS合成，僅使用兩個視圖來判定輸出，即，一左視圖及一右視圖。首先，比較左深度與右深度之間的差之絕對值與一預定臨限值。若此差大於一預定臨限值(指示深度值彼此非常不同，且可能與不同深度層中之物體相關)，則最小深度值判定最接近相機之物體，且該視圖經假定為左視圖或右視圖。在深度值彼此相對接近之情況下，則使用空洞之數目來判定輸出視圖。比較左視圖及右視圖中之空洞之數目之間的絕對差與一預定臨限值。若兩個視圖具有類似數目個空洞，則使用來自兩個視圖之像素之平均值。否則，選擇具有較少空洞之視圖作為輸出視圖。此程序對不可靠之變換像素有效。其偵測錯誤值並拒絕其等，但同時需要一高運算成本，因為對各像素單獨執行一複雜視圖分析(深度比較及空洞計數)。
VSRS使用一水平相機配置且僅利用兩個參考。VSRS針對具有小基線之視圖(即彼此接近之視圖)之合成進行最佳化。VSRS不使用任何垂直相機資訊且VSRS亦不適合用於光場合成。
在Graziosi等人「Depth assisted compression of full parallax light fields」，IS＆T/SPIE Electronic Imaging，International Society for Optics and Photonics (2015年3月17日)中，介紹一種針對光場並使用水平資訊及垂直資訊兩者之合成方法。該方法採用以多參考深度影像為基礎演顯(MR-DIBR)之態樣並利用具有相關像差之多個參考視圖來演顯光場。
在此方法中，首先將像差正向變換至一目標位置。接下來，將一濾波方法應用於經變換像差以減輕諸如由不準確像素位移所致之裂縫之假影。第三步驟係合併所有經濾波變換像差。選擇具有較小深度(即，更靠近觀看者)之像素。VSRS混合來自具有類似深度值之兩個視圖之色彩資訊並獲得一模糊合成視圖。此與上面在合併之後僅利用一個視圖來保留參考視圖之高解析度之Graziosi等人相反。歸因於自單一參考簡單複製色彩資訊而非內插若干參考，因此VSRS中之演顯時間縮減。
最後，經合併元素影像像差用於自參考色彩逆向變換色彩並產生最終經合成元素影像。
當來自參考視圖之深度值不準確時，此視圖合併演算法傾向於展現品質下降。用於濾波深度值之方法已在(例如)美國專利案第8,284,237號C. Fehn「3D-TV Using Depth-Image-Based Rendering (DIBR)」，Proceedings of Picture Coding Symposium，加利福尼亞舊金山(2004年12月)及Kwan-Jung Oh等人「Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video」，Signal Processing Letters ,IEEE ，第16卷第9號第747、750頁(2009年9月)中提出，但此等方法非所欲地增加系統之運算要求且可增加顯示系統之延時。
上文MR-DIBR方法使用參考深度(或像差)圖或資訊及色彩圖來增強經壓縮光場影像之光場影像品質以啟用經壓縮光場影像資料集中之空洞填補及裂縫填補。相關地，一像差臨限值經設定在判定是否歸因於遮蔽而覆寫經合併像差影像素時移除一光場影像場景中之雜訊之影響之一值。
據此，需要一種在一光場壓縮方案中判定一最佳像差臨限值之方法，其克服先前技術方法中發現之缺陷。
相關申請案之交互參考
本申請案主張2018年4月12日申請之美國臨時申請案第62/656,839號之權利，其揭示內容以引用的方式併入本文中。
將參考下文所論述之細節描述本發明之各種實施例及態樣，且附圖將繪示各種實施例。以下描述及附圖係圖解說明本發明且不應解釋為限制本發明。描述許多具體細節以提供對本發明之各種實施例之一透徹理解。然而，在某些情況下，不描述眾所周知或習知細節以提供對本發明之實施例之一簡明論述。
說明書中對「一個實施例」、「一實施例」或「一些實施例」之引用意謂結合該實施例描述之一特定特徵、結構或特性可包含於本發明之至少一個實施例中。在說明書中各處出現之片語「在一個實施例中」並不一定均係指相同實施例。
根據本發明之一個態樣，接收與一場景相關聯之場景後設資料及輸入光場影像。對該場景後設資料及輸入光場影像執行一第一編碼操作以產生參考影像、參考像差資訊及參考視圖之一順序。基於該等參考影像及參考像差資訊執行一第二編碼操作以輸出光場編碼資料。該光場編碼資料包含該等經編碼參考影像、該等經編碼參考像差資訊及參考視圖之該順序。傳輸該光場編碼資料。
在一個實施例中，為了對該場景後設資料及該等輸入光場影像執行該第一編碼操作，選擇該等輸入光場影像之一子集作為該等參考影像。針對該等參考影像之各者估計一或多個參考像差圖以產生該參考像差資訊。執行預演顯及品質估計以產生參考視圖之該順序。
在一個實施例中，為了執行該預演顯及品質估計，基於該等參考視圖與一目標視圖之間的一距離判定該等參考像差圖之各者的參考視圖之一最佳有序清單。替代地，基於一經估計峰值信雜比(PSNR)為各中間視圖判定參考視圖之一最佳有序清單。在一個實施例中，提供一延伸卡爾曼濾波器(EXF)以基於各參考像差圖之一距離及品質來選擇參考視圖之該最佳有序清單，以減少各參考視圖之雜訊。
在一個實施例中，為了判定各中間視圖之參考視圖之該最佳有序清單，將具有一最低誤差之一參考視圖放置於參考視圖之該最佳有序清單之一頭部。
在一個實施例中，對該場景後設資料及該等輸入光場影像執行該第一編碼操作進一步產生與該等參考影像相關聯之參考位置及照度權重，其中該光場編碼資料進一步包含該等參考位置及照度權重。
在一個實施例中，為了對該場景後設資料及該等輸入光場影像執行該第一編碼操作，判定該等參考影像之各者中之一參考位置以產生該等參考位置，且判定相較於一全域光場照度位準的該等參考位置之各者的一局域照度位元準，以產生該等照度權重。
在一個實施例中，在基於該等參考影像及該參考像差資訊執行該第二編碼操作以輸出該光場編碼資料之前，判定該等參考影像之一總位元預算之一第一位元預算及該參考像差資訊之該總位元預算之一第二位元預算。在一個實施例中，基於該等參考影像及參考像差資訊執行該第二編碼操作係基於該第一位元預算及該第二位元預算。
在一個實施例中，該第一編碼操作係基於以多參考深度影像為基礎演顯(MR-DIBR)，且該第二編碼操作係基於一影像或視訊編碼標準。
在一個實施例中，基於該總位元預算之一第三位元預算，對參考視圖之該順序執行一第三編碼操作。
在一個實施例中，該場景後設資料包含一擷取裝置之光學特性及來自該擷取裝置之經擷取資料，其包含相機像素數、相機位置、鏡頭視域(FOV)、場景組成(scene composition)、相距於相機之場景距離或顯示裝置特性。
在一個實施例中，對該場景後設資料及該等輸入光場影像執行該第一編碼操作進一步包含：判定每像素位元(bpp)組態，其包含參考選擇調整、紋理對像差圖權重及開啟/關閉照度縮放。
根據本發明之另一態樣，接收包括經編碼參考影像、經編碼參考像差資訊及參考視圖之一順序之光場編碼資料。對該光場編碼資料執行一第一解碼操作以輸出經解碼參考影像及經解碼參考像差資訊。基於該等經解碼參考影像、該等經解碼參考像差資訊及自該光場編碼資料提取之參考視圖之該順序來執行一第二解碼操作以輸出一或多個經解碼影像。
在一個實施例中，為了執行該第二解碼操作，來自該經解碼參考像差資訊之各參考像差經正向變換以產生複數個經正向變換參考像差。對該等經正向變換參考像差之各者進行濾波以產生複數個濾波參考像差。該複數個濾波參考像差經合併為一經合併像差。該經合併像差及該等經解碼參考影像用於逆向變換，以產生該等經解碼影像。
在另一實施例中，為了執行該第二解碼操作，來自該經解碼參考像差資訊之各參考像差經正向變換以產生複數個經正向變換參考像差。對該等經正向變換參考像差之各者進行濾波以產生複數個濾波參考像差。選擇濾波參考像差之一子集。該等濾波參考像差之該子集經合併成一經合併像差。該經合併像差及該等經解碼參考影像用於逆向變換，以產生該等經解碼影像。
在一個實施例中，為了選擇該等濾波參考像差之該子集，參考視圖按其等至一目標視圖之距離予以排序，且一當前像差經設定為一最靠近視圖之一像差。
在一個實施例中，為了合併該等濾波參考像差之該子集，若一參考視圖之一像差值大於一像差臨限值，則用該參考視圖之該像差值取代一目標像差值。否則，維持屬於該最靠近視圖之一當前像差值。
圖1繪示根據一個實施例之一光場成像系統。參考圖1，光場成像系統100可包含一擷取系統103及一光場顯示系統107，其可(例如)透過一網路(諸如網際網路或雲端服務)彼此通信地耦合。擷取系統103可包含一擷取裝置(未展示)，諸如一光場相機、動作相機、動畫相機、攝錄影機、相機電話、小型相機、數位相機、高速相機、無反光鏡數位單眼相機(mirrorless camera)或針孔相機。在一個實施例中，擷取系統103包含(但不限於)預處理引擎105 (亦指稱預處理邏輯、預處理模組或預處理單元，其可以軟體、硬體或其一組合實施)及壓縮邏輯109 (亦指稱壓縮引擎、壓縮模組或壓縮單元，其可以軟體、硬體或其一組合實施)。
預處理引擎105可擷取、獲取、接收、建立、格式化、儲存及/或提供光場輸入資料(或場景/3D資料) 101，其可表示待在一壓縮操作之不同階段處使用之一物體或一場景(如下文在本文中更詳細論述)。為此，預處理引擎105可產生與光場輸入資料101相關聯之一先驗(或預處理)資訊，例如場景中之物體位置、定界框(bounding box)、相機感測器資訊、目標顯示資訊及/或運動向量資訊。此外，在一些實施例中，預處理引擎105可對光場輸入資料101執行立體匹配及/或深度估計以獲得一場景之空間結構之一表示，例如一或多個深度圖(或像差圖)及/或與對像或場景相關聯之子影像(或子空洞徑影像)。
在一個實施例中，預處理引擎105可將光場輸入資料101自資料空間轉換成光場顯示裝置111之顯示空間。可需要將光場輸入資料101自資料空間轉換成顯示空間以供光場顯示裝置111展示符合光場顯示特性及使用者(觀看者)偏好之光場資訊。當光場輸入資料101基於相機輸入時(例如，光場擷取空間(或座標)及相機空間(或座標)通常不相同)，且因而，預處理引擎105可需要將資料自任何相機(擷取)資料空間轉換成顯示空間。當多個相機用於擷取光場且擷取光場之僅一部分包含於觀看者偏好空間中時尤其如此。用於顯示空間轉換之此資料空間由預處理引擎105藉由分析光場顯示裝置111之特性及在一些實施例中使用者(觀看者)偏好來完成。光場顯示裝置111之特性可包含(但不限於)影像處理能力、刷新率、全像像素(hogel)及角度數、色域及亮度。觀看者偏好可包含(但不限於)物體觀看偏好、互動偏好及顯示偏好。
在一個實施例中，預處理引擎105可考慮顯示特性及使用者偏好並將光場輸入資料101自資料空間轉換成顯示空間。例如，若光場輸入資料101包含網狀物體，則預處理引擎105可分析顯示特性(諸如，全像像素數、角度數及視域(FOV)，分析使用者偏好(諸如，物體放置及觀看偏好)，計算定界框、運動向量等，並將此等資訊報告至光場顯示系統107。在一個實施例中，資料空間轉顯示空間轉換可包含除座標變換外之資料格式轉換及運動分析。在一個實施例中，資料空間轉顯示空間轉換可涉及考慮光場顯示裝置111之光調變表面(顯示表面)之位置及物體相對於顯示表面之位置。
壓縮(或編碼)邏輯109可自預處理引擎105接收一先驗(或預處理)資訊用於壓縮。例如，壓縮邏輯109可使用一先驗資訊在不同階段處執行一或多個壓縮方法，以產生經壓縮資訊(例如，參考位置、參考元素影像(EI)、參考像差圖、照度權重、參考視圖之一最佳有序清單等)。在一個實施例中，壓縮方法可基於以影像為基礎演顯(IBR)、以深度影像為基礎演顯(DIBR)及/或以多參考深度影像為基礎演顯(MR-DIBR)。在一個實施例中，另外或替代地，壓縮方法可基於一或多個影像壓縮標準，諸如聯合影像專家組(JPEG)、JPEG 2000、JPEG XS或視訊壓縮標準(亦指稱視訊壓縮方法、視訊壓縮演算法或視訊壓縮編碼解碼器)，諸如動畫專家組(MPEG)、H.264、高效率視訊編碼(HEVC)、Theora、RealVideo、RV40、VP9、AV1、音訊視訊交錯(AVI)、Flash Video (FLV)、RealMedia、Ogg、QuickTime及/或Matroska。壓縮邏輯109可接著(例如)透過一網路(未展示)(諸如網際網路或雲端服務)將經壓縮資訊傳達至解壓縮(或解碼)邏輯113以執行解壓縮操作。在一個實施例中，經壓縮資訊可儲存於一儲存裝置(未展示)中以由解壓縮邏輯113擷取(或載入)。儲存裝置(例如)可為一硬碟機(HDD)、固態裝置(SSD)、唯讀記憶體(ROM、隨機存取記憶體(RAM)或光學儲存媒體。
如圖1中進一步所展示，光場顯示系統107可包含(但不限於)彼此可通信地耦合之解壓縮邏輯113 (亦指稱解壓縮引擎、解壓縮模組或解壓縮單元，其可以軟體、硬體或其一組合實施)及光場顯示裝置111。光場顯示裝置111可為任何類型之光場顯示裝置，諸如一基於眼鏡之3D顯示裝置、自動立體顯示裝置、視覺輻輳調節衝擊(VAC)顯示裝置或無VAC之全視差3D顯示裝置。如所展示，光場顯示裝置111可包含(但不限於)顯示邏輯115 (亦指稱顯示引擎、顯示模組或顯示單元，其可以軟體、硬體或其組合來實施)。
在一個實施例中，解壓縮邏輯113可對經壓縮資訊執行一或多個解壓縮方法，其可自儲存裝置擷取以產生經解壓縮資訊(例如，參考位置、參考EI、參考像差圖、照度權重等)。使用經解壓縮資訊，解壓縮邏輯113可重建由光場輸入資料101表示之原始物體或場景。物體或場景之經重建影像可傳輸至顯示邏輯115以在光場顯示裝置111上顯示、調變或演顯。與先前所討論之壓縮方法一樣，在一個實施例中，解壓縮操作可基於IBR、DIBR及/或MR-DIBR。在一個實施例中，額外或替代地，解壓縮操作可基於一或多個影像壓縮標準(諸如JPEG、JPEG 2000、JPEG XS)或一或多個視訊壓縮標準(諸如MPEG、H.264、HEVC、 Theora、RealVideo、RV40、VP9、AV1、AVI、FLV、RealMedia、Ogg、QuickTime及/或Matroska)。
應瞭解，儘管圖1展示光場擷取系統103與光場顯示系統107分離，但在一些實施例中，光場擷取系統103可為光場顯示系統107之部分。亦應瞭解，儘管圖1展示預處理引擎105作為光場擷取設備103之部分，但在一些實施例中，預處理引擎105可為光場顯示系統107或另一系統、邏輯、引擎、模組或單元之部分。應進一步瞭解，儘管圖1展示壓縮邏輯109作為擷取系統103之部分，但在一些實施例中，壓縮邏輯109可為光場顯示系統107或另一系統、邏輯、引擎、模組或單元之部分。
圖2係繪示根據一個實施例之光場編碼之一方法之一流程圖。可由包含硬體(例如電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或其一組合之處理邏輯執行程序200。例如，可由圖1之編碼邏輯109執行程序200。
參考圖2，在區塊201，處理邏輯接收與一場景相關聯之場景後設資料及輸入光場影像。在區塊202，處理邏輯對場景後設資料及輸入光場影像執行一第一編碼操作(例如，MR-DIBR編碼)以產生參考影像、參考像差資訊及參考視圖之一順序。在區塊203，處理邏輯基於參考影像及參考像差資訊執行一第二編碼操作(例如，影像/視訊編碼)以輸出光場編碼資料，其中光場編碼資料包含經編碼參考影像、經編碼參考像差資訊及參考視圖之順序。在區塊204，處理邏輯傳輸光場編碼資料。
圖3係繪示根據一個實施例之光場解碼之一方法之一流程圖。可由包含硬體(例如電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或其一組合之處理邏輯執行程序300。例如，可由圖1之解碼邏輯113執行程序300。
參考圖3，在區塊301，處理邏輯接收包含經編碼參考影像、經編碼參考像差資訊及參考視圖之一順序的光場編碼資料。在區塊302，處理邏輯對光場編碼資料執行一第一解碼操作(例如，影像/視訊解碼)以輸出經解碼參考影像及經解碼參考像差資訊。在區塊303，處理邏輯基於經解碼參考影像、經解碼參考像差資訊及自光場編碼資料提取之參考視圖之順序執行一第二解碼操作(例如，MR-DIBR解碼)以輸出一或多個經解碼影像(例如，光場影像)。
轉至其中在若干視圖中相同元件符號表示相同元件之描述及各圖，揭示一種用於判定一光場壓縮方案中之一像差臨限值之方法。
存在使用參考深度(或像差)圖及資料及色彩圖來增強經壓縮光場影像之光場影像品質之方法及系統，以啟用經壓縮光場影像資料集中之空洞填補及裂縫填補。一像差臨限值係一使用者定義之值，其在判定是否歸因於一光場影像場景中之遮蔽而覆寫合併像差圖像素時移除雜訊之影響。
為了判定一最佳像差臨限值，以下在本文中揭示用於此判定之各種方法。
在用於判定一像差臨限值之一基於PSNR方法中，一最佳像差臨限值基於合成(或中間)視圖之PSNR。PSNR係兩個影像之間的峰值信雜比(以分貝為單位)。此比率可視作原始影像與一壓縮影像之間的一品質量測，其中PSNR越高，經壓縮或經重建影像之品質越好。給出合成視圖之最高平均PSNR之像差臨限值經選擇為最佳像差臨限值。
在一物體距離方法中，為了判定一像差臨限值，首先判定視圖中之各物體之像差值。接著運算各物體之像差之倒數，即：
各物體之像差之倒數與其深度值成比例。像差臨限值之倒數較佳小於其等差值之任何者，即：
在一變換程序中，若：
則由於已發生一遮蔽，所以用新像差值來取代當前像差值。否則，保留當前像差值。
在一梯度方法中，為了判定一像差臨限值，針對參考視圖之各像差圖採用像差圖之梯度且接著選擇最大梯度值作為像差臨限值。
像差圖選擇器方法
MR-DIBR需要相對較高準確度像差作為輸入資料。圖4A繪示根據一個實施例之運用像差圖選擇器之一MR-DIBR操作之一流程圖。如圖4A中所展示，MR-DIBR操作400包含：
(1)針對參考像差或像差圖401A-D之各者(例如，EI參考深度)執行正向變換402，
(2)在正向變換參考像差之各者中應用像差濾波器403 (例如，裂縫濾波器(crack filter))，及
(3)將正向變換及經濾波之像差圖合併(在區塊405處)成像差圖(或全像像素像差) 406。
(4)使用經合併全像像素像差406及參考紋理409A至D執行逆向變換407以產生全像像素紋理408 (例如，一多個光場影像)。
在一些實施例中，由可包含軟體、硬體或其一組合之處理邏輯執行MR-DIBR操作。應瞭解，儘管圖4A繪示四個參考像差及四個參考紋理，但在一些實施例中，可利用四個以上參考像差及參考紋理。
在一個實施例中，多個參考之使用增加在變換之後之去遮蔽紋理將存在於參考像差之一者中之機會，且因此最小化或完全避免空洞填補。此提供比合成空洞填補演算法更好之一品質。然而，需要仔細選擇參考元素影像，同時增加MR-DIBR處理時間及記憶體使用。
在正向變換402中，可根據目標元素影像與參考元素影像之間的距離及其等各自像差值來移位參考像差401A至401D。為了減少多個參考之記憶體使用，僅將像差用於正向變換。歸因於捨入及量化誤差，在正向變換像差中可能出現裂縫。因此，像差濾波器803可用於偵測錯誤像差值並用相鄰像差校正其等。接著將變換像差及經濾波像差合併在一起(在區塊405處)，且由於使用多個參考，因此存在去遮蔽視圖將存在於該等參考之一者中之一可能性。最後，在逆向變換階段407中，經合併全像像素像差406用於指示參考影像中之位置以獲得全像像素紋理408。
在一些實施例中，對於像差圖與實況相同之理想情況，所得經合併像差圖406可不取決於合併操作之順序。另一方面，對於非理想光場影像，參考像差圖不可避免地帶有非所欲之雜訊且必須以一特定順序執行合併操作以獲得一最佳經合併像差圖406。
圖4B繪示來自理想參考像差圖之一變換像差圖。對於實況或理想像差，圖4B展示一目標區域之像差值等於d，其在Ref1之像差圖421及Ref2之像差圖422兩者中係相同的。然而，對於現實生活之光場影像(諸如利用一高解析度相機陣列或一基於小鏡頭光場相機擷取之影像)，像差圖由一像差估計演算法產生並且包含雜訊。假設雜訊之分佈係高斯白雜訊N(0, σ2 )，且disparity_Ref1及disparity_Ref2遵循N(d, σ2 )之正態分佈，其中平均值係d且方差係σ2 。
為了自參考影像視圖運算一經變換目標像差圖423，公式為：
考慮到disparity_reference遵循N(d, σ2 )且距離係一常數係數，變換目標像差值如下：
具有一較小像差(或較大深度)之一影像區域意謂特定影像區域在顯示時更靠近觀看者。在一MR-DIBR合併操作中(例如，在圖4A之區塊405處)，來自較低像差之區域之值優先且經覆寫於較高像差值上。基於相同分佈之高斯雜訊之假設，若Ref1像差圖及Ref2像差圖經假設為輸入，則任一者具有與參考區域相同之選擇概率，因為其等具有相同像差值。
給定相同分佈之參考像差，若選擇Ref1作為參考視圖，則可藉由中心極限定理(CLT)來分析變換像差之平均誤差。因此，平均誤差等於目標像差之方差，其中var_target =σ2 * distance_ref1 =4 σ2 。
若選擇Ref2作為參考視圖，則平均誤差將為σ2 * distance_ref2 =σ2 ，其小於4 σ2 。因此，可看出，在合併操作中，若參考影像具有相同像差，則應選擇最靠近目標位置之一者作為該參考影像且將最小誤差新增至經合併像差圖。
在一個實施例中，在合併經正向變換及經濾波像差圖之前(在區塊405處)，像差圖選擇器方法404可執行選擇哪些像差圖(例如，經濾波像差圖之一子集)之操作應使用於MR-DIBR操作400之像差圖合併操作中。例如，像差圖選擇器404首先按參考視圖至目標視圖之距離對參考視圖進行排序。接著將當前像差圖設定為最靠近視圖之像差圖。在合併程序期間(在區塊405處)，若另一參考視圖之像差值大於像差臨限值，則用新像差值來取代目標之像差值。否則，維持當前像差值(其屬於最靠近參考視圖)。
預演顯器及品質估計
在一個實施例中，當藉由像差圖選擇器方法404處理一影像時，像差圖之參考視圖之一順序基於參考視圖與目標視圖之間的距離。像差圖選擇器404之假設係雜訊對於所有參考視圖係相同的。在一實際非理想情況下，存在環境因數(諸如環境光強度、感測器均勻性及光學設計)且雜訊可能對於參考視圖之各者而略微變化。在一個實施例中，一編碼器(例如，編碼邏輯109)中之一預演顯器用於基於經估計PSNR判定各中間視圖之參考視圖之最佳有序清單。換言之，預演顯器將具有最低錯誤之參考視圖放於清單陣列之頭部以產生參考視圖之順序。
在另一實施例中，為了減少雜訊之影響，可提供一延伸卡爾曼濾波器(EXF)以基於像差圖之距離及品質來選擇參考視圖之最佳順序。由於EXF取決於雜訊之分佈，因此像差圖上之雜訊方差之準確性可判定EXF系統之效能。
在無預演顯器之情況下，可在圖5之PSNR圖之右上部分及右下部分找到具有低PSNR之一中空區域。當將預演顯器新增至編碼器時，中間視圖之PSNR在彼等區域中增加，如圖6之PSNR圖中所展示。在一個實施例中，參考視圖之最佳順序可為由編碼器產生之額外性質檔案，其由解碼器使用。預演顯器亦提高解碼器之效率。由於解碼器接收關於參考視圖順序之資訊，因此可省略搜尋最接近之相鄰參考視圖之高額外負荷程序。
局 域 像差臨限值
在一個實施例中，識別各像差圖合併操作的一局域化像差臨限值亦可行，而非尋找整個光場影像的一單一像差臨限值。由於僅需要計算一個像差臨限值，因此整個影像之一單一像差臨限值可提高影像處理速度。然而，局域化像差臨限值可改良最終重建品質，儘管其等需要額外計算來判定像差臨限值之經增加數目。
可針對整個光場，針對光場中之某一影像或針對光場影像中之一影像區段計算像差臨限值。可使用上文所揭示之像差臨限值計算方法之一者來計算一局域化像差臨限值，但僅針對一目標影像或一目標影像之一區域。例如，若正在針對目標影像計算局域化像差臨限值，則每一次計算一新目標時其將改變。
若正在針對目標影像中之一區域計算像差臨限值，則應注意，目標影像之一個部分使用一個臨限值而另一部分使用一不同臨限值。較佳地，針對不同目標影像中之不同區域之各者重新計算此等臨限值。
圖7係繪示根據一個實施例之具有視圖順序之一最佳參考之一光場影像編碼(或壓縮)系統之一方塊圖。參考圖7，光場編碼系統(或編碼解碼器) 700可包含一編碼階段750及一解碼階段760。在一些實施例中，編碼階段750及解碼階段760及包含於其中之相關模組(例如，模組703、709、711、716、718)可以軟體、硬體或其一組合實施。在一個實施例中，編碼階段750可實施為圖1之擷取系統103之部分，且解碼階段760可實施為圖1之光場顯示系統107之部分。在另一實施例中，除編碼階段750外，擷取系統103可包含解碼階段760之一些部分，其中光場顯示系統107包含解碼階段760之剩餘部分。
繼續參考圖7，在一個實施例中，編碼階段750可包含MR-DIBR編碼器703、影像/視訊編碼器709及峰值信雜比(PSNR)/結構相似性指數(SSIM)計算器718。在另一實施例中，PSNR計算器718可代替地包含於解碼階段760中，如下文在本文中更詳細描述。如所展示，相機(或場景)後設資料701及輸入光場影像702經提供至MR-DIBR編碼器703。在一個實施例中，後設資料701可包含一擷取裝置及經擷取資料之光學特性，諸如相機像素數、相機位置、鏡頭FOV、場景組成、與相機之距離及/或顯示裝置特性。
現參考圖8，其係繪示根據一個實施例之MR-DIBR編碼器703之一實例之一方塊圖，MR-DIBR編碼器703接收並利用後設資料701及輸入光場影像702 (例如，元素影像、全像像素)以判定並產生在參考EI 705中重建全光場以及參考位置704所需之參考EI 705之一最小數目(在區塊801處)以獲得最終光場影像。例如，可調用指稱一可見性測試之一選擇程序以自待演顯之輸入光場影像702判定元素影像之一子集。即，元素影像之子集用作合成整個光場之參考。在一個實施例中，可見性測試選擇元素影像之子集，以不僅減少整體演顯運算而且減少頻寬。在一個實施例中，可見性測試併入即時實施方案要求(例如，高度可並行化解決方案、元件之間的最小相依性)及內容冗餘(例如，元件之間的相關性，高壓縮及功率節省)之間的一折衷。
MR-DIBR編碼器703接著計算或估計所產生參考EI 705之各者的一或多個參考像差圖(在區塊802處)，藉此產生若干參考像差圖706。一旦參考EI 705及像差圖706經判定，則產生一目標位元率或每像素位元(bpp)值以組態一顯示匹配之編碼階段。即，bpp產生之組態用於組態顯示匹配之編碼階段(在區塊803處)。在一個實施例中，bpp產生之組態可包含參考選擇調整、紋理對像差圖權重及/或開啟/關閉照度縮放。在一個實施例中，若需要一更高品質之重建，則可將額外參考元素影像及參考深度圖新增至編碼階段。在區塊804，MR-DIBR編碼器703亦執行預演顯及品質估計以判定並產生參考視圖708之一最佳順序，如先前所描述，且且為了簡潔起見，不再描述。
返回參考圖7，在一個實施例中，顯示匹配之編碼階段使用影像(或視訊)編碼器709 (例如，JPEG、JPEG 2000或JPEG XS編碼器或MPEG、H.264、HEVC、Theora、RealVideo、RV40、VP9、AV1、AVI、FLV、RealMedia、Ogg、QuickTime或Matroska編碼器)以進一步壓縮參考EI 705 (或參考紋理)及參考像差圖706。在一個實施例中，在起始編碼器709之前，判定用於參考EI 705之位元預算(例如，在總位元預算之80%至85%之間)及參考像差圖706 (例如，在總位元預算之15%至20%之間)，且該等位元預算可用作編碼器709之輸入。
在一個實施例中，編碼器709可壓縮(或編碼)參考EI 705及參考像差圖706 (在一個實施例中，根據位元預算)，以產生經壓縮資訊(例如，壓縮參考EI、像差圖)。經壓縮資訊及參考位置704可包含於光場編碼資料710 (例如，一經編碼光場檔案)中以供傳輸。
在一個實施例中，在編碼階段750中支援一光場影像中之照度變化。例如，在編碼參考EI 705之前，MR-DIBR編碼器703可相較於一全域光場照度位準判定參考EI 705之各者的一局域照度位準(其可包含一照度權重或各色彩分量之照度縮放參數)以產生對應參考EI 705之若干照度權重707。可藉由將照度權重707傳遞至光場編碼資料710用於(例如)透過一網路傳輸來保留各參考EI之局域照度位準。據此，光場編碼資料710包含參考位置704、照度權重707、經編碼參考EI及經編碼參考像差圖及參考視圖708之最佳順序。
仍參考圖7，解碼階段760包含影像(或視訊)解碼器711及MR-DIBR解碼器716。在一個實施例中，解碼階段760可進一步包含PSNR/SSIM計算器718。如所展示，光場編碼資料710經傳輸至解碼器711 (例如，JPEG、JPEG 2000或JPEG XS解碼器，或MPEG、H.264、HEVC、Theora、RealVideo、RV40、VP9、AV1、AVI、FLV、RealMedia、Ogg、QuickTime或Matroska解碼器)來解碼(或解壓縮))壓縮(或編碼)參考EI及參考像差圖。解碼參考EI 713及參考像差圖714經提供至MR-DIBR解碼器716以供進一步解碼。亦可提取包含於光場編碼資料710中之參考位置712及照度權重715 (其等可分別與參考位置704及照度權重707相同)以提供至MR-DIBR解碼器716以供解碼。在一個實施例中，MR-DIBR解碼器716可執行MR-DIBR操作400，如先前關於圖4A所描述，且為了簡潔起見，不再描述。使用參考位置712、參考EI 713、參考像差圖714及照度權重715，MR-DIBR解碼器716可解碼參考EI 713及參考像差圖714，以產生輸出經解碼光場影像717，其中可由一光場顯示系統(例如，圖1之光場顯示系統107)來調變經解碼光場影像717。如先前所描述，由於MR-DIBR解碼器716接收關於參考視圖順序720之資訊(其可與參考視圖順序708相同)，所以其可省略搜尋最接近之相鄰參考視圖之高額外負荷程序。
在一個實施例中，可將經解碼光場影像717及輸入光場影像702傳達至PSNR / SSIM計算器718以藉由比較經解碼光場影像717與原始輸入光場影像702來運算PSNR (例如，整體系統失真)。即，經解碼光場影像717及輸入光場影像702可用於PSNR及SSIM計算中，用於判定MR-DIBR編碼器703及MR-DIBR解碼器716之客觀影像品質效能。例如，PSNR計算器718可藉由取得來自輸入光場影像702之原始資料與由壓縮引入之誤差(或雜訊)(其可自經解碼光場影像717獲得)之間的一比率來計算PSNR。由PSNR計算器718產生之PSNR可包含於評估結果719中用於隨後評估整體系統之效能。例如，整體系統之效能可藉由整體位元率及失真來量測，其可用於改良不同組件之間的位元率分配。
在一個實施例中，解碼階段760中之MR-DIBR解碼器716可利用整數像差值。在一些實施例中，當目標目的地係一光場顯示器時，使用整數像差值係有利的，因為光場影像中之各像素與一特定方向相關聯。然而，在一些實施例中，若目標目的地不是一光場顯示器，則可將整數像差之使用改變為分率像差。在解碼階段760中轉向分率像差改良影像中之PSNR，而不會對系統之運算負荷造成額外負擔。
圖9係繪示根據一個實施例之使用預演顯、參考順序編碼及參考順序解碼之一光場壓縮系統之一實例之一方塊圖。參考圖9，光場壓縮系統可包含編碼器900及解碼器920。在一些實施例中，編碼器900及解碼器920及包含於其中之相關模組或邏輯(例如，模組901至907及921至925)可用以軟體、硬體或其一組合實施。在一個實施例中，編碼器900可實施為圖1之擷取系統103之部分，且解碼器920可實施為圖1之光場顯示系統107之部分。在另一實施例中，除編碼器900外，擷取系統103可包含解碼器920之一些部分，其中光場顯示系統107包含解碼器920之剩餘部分。
如圖9中所展示，編碼器900包含一可見性測試模組902、深度轉像差轉換器903、預演顯模組904及參考視圖順序編碼器907。在一個實施例中，可見性測試模組902、深度轉像差轉換器903及預演顯模組904可分別執行可見性測試、深度轉像差轉換及預演顯及品質估計(如先前關於圖4A、圖7及圖8所描述)，且為了簡潔起見，不再描述。另外，在編碼器900中，為了執行參考元素影像之壓縮，新增參考像差圖及最佳參考視圖順序、紋理編碼器903、像差編碼器905及參考視圖順序編碼器907。在一個實施例中，紋理編碼器905、像差編碼器906及參考視圖順序編碼器907可執行相同或類似操作。然而，其等對位元率之貢獻可不同。例如，在一個實施例中，一第一百分比範圍之位元預算可用於紋理編碼器905、一第二百分比範圍之位元預算可用於像差編碼器906，且一第三百分比範圍之位元預算可用於參考視圖順序編碼器907。
在一個實施例中，編碼器905至907可調用(或應用)類似於H.264/MPEG-4進階視訊編碼(AVC)或H.265高效率視訊編碼(HEVC)演算法中之內編碼之方法。在一個實施例中，編碼器905至906可分別將參考紋理及參考像差(或像差圖)之紅色、綠色及藍色(RGB)值變換為YCoCg色彩空間。YCoCg色彩空間係指由一相關聯RGB色彩空間變換為一照度值(其可表示為Y)、兩個色度值(指稱色度綠色(Cg)及色度橙色(Co))所形成的一色彩空間。各色彩通道可劃分成例如4×4大小之區塊，且可應用一整數變換。變換之變換係數可經量化，且可使用一信號編碼器對係數進行編碼，諸如用於DC值之差分脈衝編碼調變(DPCM)方案及用於AC值之一運行長度編碼器。隨後，在一個實施例中，可利用一熵編碼器(例如，霍夫曼編碼)來進一步壓縮編碼係數。在一個實施例中，紋理之最終品質以及用於編碼紋理之位元量受控於量化參數。在一些實施例中，編碼紋理、編碼像差及編碼最佳參考視圖順序(分別由編碼器905至907產生)可經封包化且透過網路910傳輸至解碼器920以供解碼。
在一些實施例中，上文解釋之編碼(或壓縮)方法可僅產生視圖之一子集。剩餘視圖可直接在顯示系統處合成。其他視圖之合成可在接收參考之後立即進行且全部並行，因為其等不相互依賴。在一個實施例中，假設演顯程序係最佳的且一觀看者不感知任何假影。在一個實施例中，為了改良視圖相關特徵之品質，可發送剩餘資訊。即，使用最近接收之參考之原始視圖與合成視圖之間的差(或增量)可透過網路910傳輸至解碼器920以供解碼。此需要演顯或獲取全光場資料。壓縮與品質之間的一更好折衷係識別光場之關鍵區域並僅針對彼等特定部分執行演顯之演算法。
現轉至解碼器920，如所展示，解碼器920包含紋理解碼器921、像差解碼器922、參考視圖順序解碼器923及MR-DIBR邏輯924。MR-DIBR邏輯924可執行MR-DIBR操作400，如先前在圖4A中所描述，且為了簡潔起見，不再描述。
紋理解碼器921、像差解碼器922及參考視圖順序解碼器923可分別透過網路910接收經編碼紋理、經編碼像差及經編碼最佳參考視圖順序以供解碼。在一個實施例中，解碼程序可與編碼程序並行化。經編碼參考紋理、參考像差及參考視圖順序可同時解碼，因為其等不相互依賴。類似地，剩餘視圖之合成不依賴於其他非參考視圖且可並行執行。然而，解碼器920需要識別所接收之封包並使經解碼資訊與正確元素影像位置相關聯。因此，在一個實施例中，在傳輸至解碼器920之前，將標頭資訊附加至各元素影像之位元串流，使得解碼器920可將經解碼資訊放置於經重建光場影像924中。在一個實施例中，標頭可包含：元素影像之一唯一識別、光場中元素影像之一座標及用於壓縮紋理資訊之量化參數。
在一些實施例中，歸因於對一光場顯示系統之即時解碼及顯示之嚴格時序要求，可能難以管理位元串流之延時。使用更高壓縮，解碼器920需要執行更多操作以重建光場924，光場可能未及時準備好以供顯示。影響解碼器920之效能之另一因數係記憶體可用性。解碼器920處之記憶體約束亦可對光場壓縮系統強加限制。因此，光場顯示系統之顯示硬體可能影響光場壓縮系統，其可迫使整個系統重新設計。總之，用於全視差光場顯示系統之一壓縮演算法之設計空間可能需要考慮各種因數，諸如解碼時間、可用記憶體、像素尺寸、耗電量等。
圖10係可搭配本發明之一個實施例使用之一資料處理系統之一方塊圖。例如，系統1500可用作擷取系統103及/或光場顯示系統107之部分，如圖1中所展示，以實施各種系統(例如系統700)及操作(例如圖4A之操作400)，如先前所描述。注意，儘管圖10繪示一電腦系統之各種組件，然並不意欲表示任何特定架構或互連組件之方式，因為此等細節與本發明無密切關係。亦應瞭解，網路電腦、掌上型電腦、行動裝置(例如，智慧型電話、平板電腦)及具有更少組件或可能更多組件之其他資料處理系統亦可用於本發明。
如圖10中所展示，系統1500 (其係一資料處理系統之一形式)包含一匯流排或互連1502，其耦合至一或多個微處理器1503及一ROM 1507、一揮發性RAM 1505及一非揮發性記憶體1506。微處理器1503耦合至快取記憶體1504。匯流排1502將此等各種組件互連在一起且亦將此等組件1503、1507、1505及1506互連至一顯示控制器及顯示裝置1508，以及輸入/輸出(I/O)裝置1510，其可為滑鼠、鍵盤、數據機、網路介面、印表機及所屬技術領域已知之其他裝置。
通常，輸入/輸出裝置1510透過輸入/輸出控制器1509耦合至系統。揮發性RAM 1505通常實施為一動態RAM (DRAM)，其需要連續供電以刷新或維持記憶體中之資料。非揮發性記憶體1506通常係一磁性硬碟機、一磁性光碟機、一光碟機或一DVD RAM或其他類型之記憶體系統，其等即使在自系統移除電源之後亦維持資料。通常，非揮發性記憶體亦將為一隨機存取記憶體，然此並非必需。
儘管圖10展示非揮發性記憶體係直接耦合至資料處理系統中之剩餘組件之一本端裝置，但可利用遠離系統之一非揮發性記憶體，諸如，一網路儲存裝置，其透過一網路介面(諸如一數據機或乙太網路介面)耦合至資料處理系統。如所屬技術領域所熟知，匯流排1502可包含透過各種橋接器、控制器及/或配接器彼此連接之一或多個匯流排。在一個實施例中，I/O控制器1509包含用於控制USB周邊裝置之一通用串列匯流排(USB)配接器。替代地，I/O控制器1509可包含用於控制FireWire裝置之一IEEE-1394配接器，亦已知為FireWire配接器。
可由包括硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或兩者之一組合的處理邏輯執行前述圖中所描繪之程序或方法。雖然上面根據一些順序操作描述程序或方法，但應瞭解，所描述之一些操作可以一不同順序執行。此外，一些操作可並行而非循序執行。
本發明之實施例未參考任何特定程式設計語言描述。應瞭解：各種程式設計語言可用於實施如本文中所描述之本發明之實施例之教示。
在不脫離本發明之精神及範疇的情況下，一般技術者可進行許多改變及修改。因此，必須理解，所繪示之實施例僅係出於實例之目的而提出，且不應視為限制由主張本申請案之優先權之任何後續申請案中之任何請求項所界定之本發明。
例如，儘管可以某種組合闡述此一請求項之元件，但必須明確理解，本發明包含在上文所揭示甚至最初未在此等組合中主張之更少、更多或不同元件之其他組合。
本說明書中用於描述本發明及其各種實施例之字詞不僅應理解為其等共同界定之意義，而且應包含在本說明書結構、材料或動作之特殊界定超出通常所界定之意義之範圍中。因此，若在本說明書之上下文中可將一元件理解為包含一個以上意義，則其在一隨後請求項中之使用必須理解為對於由說明書及字詞本身支持之所有可行意義係通用的。
因此，主張本申請之優先權之任何隨後申請案中之任何請求項之字詞或元件之定義應界定為不僅包含字面上闡述之元件之組合，而且包含所有等效結構、材料或動作用於以實質上相同方式執行實質上相同功能以獲得實質上相同結果。在此意義上，因此想到可對下文此等請求項中之元件之任一者進行兩個或兩個以上元件之等效替換，或在此一請求項中一單一元件可替代兩個或兩個以上元件。
雖然上文可將元件描述為以某些組合起作用且甚至隨後如此主張，但應清楚理解，來自一所主張組合之一或多個元件在某些情況下可自組合切除且此主張組合可針對一子組合或一子組合之變體。
現已知或以後設計之一般技術者所觀看到之任何隨後主張標的物之非實質變化明確預期為等同地在此等請求項之範疇內。因此，一般技術者現在或以後已知之明顯替換經界定為在所界定元件之範疇內。
因此，主張本申請案之優先權之任何隨後申請案中之任何請求項應理解為包含以上具體說明及描述之內容、概念上等效之內容、可明顯替代之內容及本質上併入本發明之基本思想之內容。
100‧‧‧光場成像系統
101‧‧‧光場輸入資料(或場景/3D資料)
103‧‧‧擷取系統
105‧‧‧預處理引擎
107‧‧‧光場顯示系統
109‧‧‧壓縮邏輯
111‧‧‧光場顯示裝置
113‧‧‧解壓縮邏輯
115‧‧‧顯示邏輯
200‧‧‧程序
201‧‧‧區塊
202‧‧‧區塊
203‧‧‧區塊
204‧‧‧區塊
300‧‧‧程序
301‧‧‧區塊
302‧‧‧區塊
303‧‧‧區塊
400‧‧‧MR-DIBR操作
401A‧‧‧參考像差或像差圖
401B‧‧‧參考像差或像差圖
401C‧‧‧參考像差或像差圖
401D‧‧‧參考像差或像差圖
402‧‧‧正向變換
403‧‧‧像差濾波器
404‧‧‧像差圖選擇器方法/像差圖選擇器
405‧‧‧區塊
406‧‧‧經合併全像像素像差
407‧‧‧逆向變換階段
408‧‧‧全像像素紋理
409A‧‧‧參考紋理
409B‧‧‧參考紋理
409C‧‧‧參考紋理
409D‧‧‧參考紋理
421‧‧‧像差圖
422‧‧‧像差圖
423‧‧‧經變換目標像差圖
700‧‧‧光場編碼系統(或編碼解碼器)
701‧‧‧相機(或場景)後設資料
702‧‧‧輸入光場影像
703‧‧‧模組/MR-DIBR編碼器
704‧‧‧參考位置
705‧‧‧參考EI
706‧‧‧像差圖
707‧‧‧照度權重
708‧‧‧參考視圖
709‧‧‧模組/影像/視訊編碼器
710‧‧‧光場編碼資料
711‧‧‧模組/影像(或視訊)解碼器
712‧‧‧參考位置
713‧‧‧參考EI
714‧‧‧參考像差圖
715‧‧‧照度權重
716‧‧‧模組/MR-DIBR解碼器
717‧‧‧經解碼光場影像
718‧‧‧模組/峰值信雜比(PSNR)/結構相似性指數(SSIM)計算器
719‧‧‧評估結果
720‧‧‧參考視圖順序
750‧‧‧編碼階段
760‧‧‧解碼階段
801‧‧‧區塊
802‧‧‧區塊
803‧‧‧區塊
804‧‧‧區塊
900‧‧‧編碼器
901‧‧‧模組
902‧‧‧模組/可見性測試模組
903‧‧‧模組/深度轉像差轉換器/紋理編碼器
904‧‧‧模組/預演顯模組
905‧‧‧模組/紋理編碼器
906‧‧‧模組/像差編碼器
907‧‧‧模組/參考視圖順序編碼器
910‧‧‧網路
920‧‧‧解碼器
921‧‧‧模組/紋理解碼器
922‧‧‧模組/像差解碼器
923‧‧‧模組/參考視圖順序解碼器
924‧‧‧模組/MR-DIBR邏輯
925‧‧‧模組
1500‧‧‧系統
1502‧‧‧匯流排或互連
1503‧‧‧微處理器/組件
1504‧‧‧快取記憶體
1505‧‧‧揮發性RAM/組件
1506‧‧‧非揮發性記憶體/組件
1507‧‧‧ROM/組件
1508‧‧‧顯示控制器及顯示裝置
1509‧‧‧輸入/輸出控制器
1510‧‧‧輸入/輸出裝置
本發明之實施例藉由實例繪示且不限制於附圖中，其中相同元件符號指示類似元件。
圖1繪示根據一個實施例之一光場成像系統。
圖2係繪示根據一個實施例之光場編碼之一方法之一流程圖。
圖3係繪示根據一個實施例之光場解碼之一方法之一流程圖。
圖4A係繪示根據一個實施例之運用像差圖選擇器之一MR-DIBR操作之一流程圖。
圖4B係繪示來自理想參考像差圖之一變換像差圖之一圖。
圖5係繪示根據一個實施例之無一預演顯器之一峰值信雜比(PSNR)圖之一圖。
圖6係繪示根據一個實施例之具有預演顯器之一PSNR圖之一圖。
圖7係繪示根據一個實施例之具有一最佳參考視圖順序之一光場影像編碼系統之一方塊圖。
圖8係繪示根據一個實施例之使用預演顯及品質估計步驟之MR-DIBR編碼器之方塊圖。
圖9係繪示根據一個實施例之使用預演顯、參考順序編碼及參考順序解碼之一光場壓縮系統之一實例之一方塊圖。
圖10係可搭配本發明之一個實施例使用之一資料處理系統之一方塊圖。

Claims (24)

  1. 一種光場影像編碼之電腦實施方法，其包括： 接收與一場景相關聯之場景後設資料及輸入光場影像； 對該場景後設資料及該等輸入光場影像執行一第一編碼操作以產生參考影像、參考像差資訊及參考視圖之一順序； 基於該等參考影像及該參考像差資訊執行一第二編碼操作以輸出光場編碼資料，其中該光場編碼資料包含經編碼參考影像、經編碼參考像差資訊及參考視圖之該順序；及 傳輸該光場編碼資料。
  2. 如請求項1之方法，其中該對場景後設資料及該等輸入光場影像執行該第一編碼操作包括： 選擇該等輸入光場影像之一子集作為該等參考影像， 估計該等參考影像之各者的一或多個參考像差圖以產生該參考像差資訊，及 執行預演顯及品質估計以產生參考視圖之該順序。
  3. 如請求項2之方法，其中執行該預演顯及品質估計包括： (i)基於該等參考視圖與一目標視圖之間的一距離判定該等參考像差圖之各者的參考視圖之一最佳有序清單，或 (ii)基於一估計峰值信雜比(PSNR)判定各中間視圖之參考視圖之一最佳有序清單。
  4. 如請求項3之方法，其中執行該預演顯及品質估計進一步包括：提供一延伸卡爾曼濾波器(EXF)以基於各參考像差圖之一距離及品質來選擇參考視圖之該最佳有序清單，以減少各參考視圖之雜訊。
  5. 如請求項3之方法，其中針對各中間視圖判定參考視圖之該最佳有序清單包括：放置具有一最低誤差之一參考視圖於參考視圖之該最佳有序清單之一頭部處。
  6. 如請求項1之方法， 其中對該場景後設資料及該等輸入光場影像執行該第一編碼操作進一步產生與該等參考影像相關聯之參考位置及照度權重，及 其中該光場編碼資料進一步包含該等參考位置及照度權重。
  7. 如請求項6之方法，其中對該場景後設資料及該等輸入光場影像執行該第一編碼操作進一步包括： 判定該等參考影像之各者中之一參考位置以產生該等參考位置，及 相較於一全域光場照度位準，判定該等參考影像之之各者的一局域照度位準以產生該等照度權重。
  8. 如請求項1之方法，其中在基於該等參考影像及該參考像差資訊執行該第二編碼操作以輸出該光場編碼資料之前， 判定該等參考影像之一總位元預算之一第一位元預算及該參考像差資訊之該總位元預算之一第二位元預算。
  9. 如請求項8之方法，其中基於該等參考影像及參考像差資訊執行該第二編碼操作係基於該第一位元預算及該第二位元預算。
  10. 如請求項1之方法，其中該第一編碼操作係基於以多參考深度影像為基礎演顯(MR-DIBR)，且該第二編碼操作係基於一影像或視訊編碼標準。
  11. 如請求項9之方法，其進一步包括：基於該總位元預算之一第三位元預算，對參考視圖之該順序執行一第三編碼操作。
  12. 如請求項1之方法，其中該場景後設資料包括： (i)一擷取裝置之光學特性，及 (ii)來自該擷取裝置之經擷取資料包含相機像素計數、相機位置、鏡頭視域(FOV)、場景組成、自該(等)相機之場景距離或顯示裝置特性。
  13. 如請求項1之方法，其中對該場景後設資料及該等輸入光場影像執行該第一編碼操作進一步包括：判定包含參考選擇調整、紋理對像差圖權重以及開啟/關閉照度縮放之每像素位元(bpp)組態。。
  14. 一種光場影像解碼之電腦實施方法，其包括： 接收包含經編碼參考影像、經編碼參考像差資訊及參考視圖之一順序之光場編碼資料； 對該光場編碼資料執行一第一解碼操作以輸出經解碼參考影像及經解碼參考像差資訊；及 基於該等經解碼參考影像、該等經解碼參考像差資訊及自該光場編碼資料提取之參考視圖之該順序執行一第二解碼操作以輸出一或多個解碼影像。
  15. 如請求項14之方法，其中執行該第二解碼操作包括： 正向變換來自該解碼參考像差資訊之各參考像差以產生複數個經正向變換參考像差， 濾波該等正向變換參考像差之各者以產生複數個經濾波參考像差， 將該複數個經濾波參考像差合併成一經合併像差，及 使用該經合併像差及該等經解碼參考影像進行逆向變換以產生該一或多個經解碼影像。
  16. 如請求項14之方法，其中執行該第二解碼操作包括： 正向變換來自該解碼參考像差資訊之各參考像差經以產生複數個經正向變換參考像差， 濾波該等正向變換參考像差之各者以產生複數個經濾波參考像差， 選擇該等經濾波參考像差之一子集， 將該等經濾波參考像差之該子集合併成一經合併像差，及 使用該經合併像差及該等經解碼參考影像進行逆向變換以產生該一或多個經解碼影像。
  17. 如請求項16之方法，其中選擇該等經濾波參考像差之該子集包括： 按參考視圖至一目標視圖之距離來排序該等參考視圖，及 將一當前像差設定為一最靠近視圖之一像差。
  18. 如請求項17之方法，其中合併該等經濾波參考像差之該子集包括： 若一參考視圖之一像差值大於一像差臨限值，則用該參考視圖之該像差值取代一目標像差值， 否則，維持屬於該最靠近視圖之一當前像差值。
  19. 如請求項14之方法，其中該第一解碼操作係基於一影像或視訊解碼標準，且該第二解碼操作係基於以多參考深度影像為基礎演顯(MR-DIBR)。
  20. 如請求項14之方法，其進一步包括： 藉由比較該一或多個經解碼影像與一場景之輸入光場影像來運算一峰值信雜比(PSNR)以判定該第二解碼操作之客觀影像品質效能。
  21. 如請求項14之方法，其中該一或多個經解碼影像包含光場影像。
  22. 如請求項21之方法，其中該等參考影像包含元素影像(EI)。
  23. 如請求項15之方法，其中該等經解碼參考影像包含至少四(4)個參考影像，且該經解碼參考像差資訊包含至少四(4)個參考像差。
  24. 如請求項14之方法，其中基於該等經解碼參考影像、該經解碼參考像差資訊及自該光場編碼資料提取之參考視圖之該順序執行該第二解碼操作包括省略對最接近相鄰參考視圖之一搜尋。
TW108112656A 2018-04-12 2019-04-11 用於以多參考深度影像為基礎演顯像差圖合併及像差臨限值判定之方法 TWI743467B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862656839P 2018-04-12 2018-04-12
US62/656,839 2018-04-12
US16/378,228 2019-04-08
US16/378,228 US10931956B2 (en) 2018-04-12 2019-04-08 Methods for MR-DIBR disparity map merging and disparity threshold determination

Publications (2)

Publication Number Publication Date
TW201944775A true TW201944775A (zh) 2019-11-16
TWI743467B TWI743467B (zh) 2021-10-21

Family

ID=68162281

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108112656A TWI743467B (zh) 2018-04-12 2019-04-11 用於以多參考深度影像為基礎演顯像差圖合併及像差臨限值判定之方法

Country Status (4)

Country Link
US (2) US10931956B2 (zh)
GB (1) GB2587539B (zh)
TW (1) TWI743467B (zh)
WO (1) WO2019199854A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品
CN113311006A (zh) * 2020-02-26 2021-08-27 乐达创意科技股份有限公司 自动光学检测***及其检测隐形眼镜边缘瑕疵的方法
US11412233B2 (en) 2018-04-12 2022-08-09 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。
WO2020164044A1 (zh) * 2019-02-14 2020-08-20 北京大学深圳研究生院 一种自由视点的图像合成方法、装置及设备
CN111260707B (zh) * 2020-02-21 2022-03-15 合肥工业大学 一种基于光场epi图像的深度估计方法
US11908116B2 (en) * 2020-08-11 2024-02-20 Sony Group Corporation Scaled PSNR for image quality assessment
CN112218093B (zh) * 2020-09-28 2022-08-05 电子科技大学 一种基于视点质量的光场图像视点扫描方法
KR20220094003A (ko) * 2020-12-28 2022-07-05 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN114387327B (zh) * 2021-12-21 2024-03-12 陕西师范大学 基于深度学习视差预测的合成孔径聚焦成像方法
US20240187566A1 (en) * 2022-12-05 2024-06-06 Google Llc Warped reference list for warped motion video coding

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613048A (en) 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6366370B1 (en) 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
US6738533B1 (en) 2000-03-29 2004-05-18 Microsoft Corporation Minimum sampling rate and minimum sampling curve for image-based rendering
KR101233236B1 (ko) 2002-07-29 2013-02-14 퀄컴 인코포레이티드 디지털 이미지 인코딩
EP1880524B1 (en) 2005-04-21 2013-10-30 William Marsh Rice University Method and apparatus for compressive imaging device
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
US8605081B2 (en) 2008-10-26 2013-12-10 Zebra Imaging, Inc. Converting 3D data to hogel data
US8681185B2 (en) 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
US20100231585A1 (en) 2009-03-13 2010-09-16 Zebra Imaging, Inc. Systems and Methods for Processing Graphics Primitives
AU2009201637B2 (en) 2009-04-24 2011-08-11 Canon Kabushiki Kaisha Processing multi-view digital images
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
US8284237B2 (en) 2009-09-09 2012-10-09 Nokia Corporation Rendering multiview content in a 3D video system
KR20110064161A (ko) 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
AU2011234163B2 (en) * 2010-03-31 2015-10-29 Interdigital Ce Patent Holdings 3D disparity maps
US9179134B2 (en) * 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
FR2974966A1 (fr) * 2011-05-05 2012-11-09 France Telecom Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9462164B2 (en) * 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014144989A1 (en) 2013-03-15 2014-09-18 Ostendo Technologies, Inc. 3d light field displays and methods with improved viewing angle depth and resolution
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
JP6307152B2 (ja) 2014-03-20 2018-04-04 日本電信電話株式会社 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
US9414087B2 (en) * 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
CN106662749B (zh) 2014-07-15 2020-11-10 奥斯坦多科技公司 用于全视差光场压缩的预处理器
CA2959023C (en) 2014-08-22 2023-01-10 Nova Southeastern University Data adaptive compression and data encryption using kronecker products
EP3007448A1 (en) 2014-10-07 2016-04-13 Canon Kabushiki Kaisha Disparity data encoding apparatus and method of controlling the same for
US9444991B2 (en) * 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
EP3286916A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
CN107430782B (zh) * 2015-04-23 2021-06-04 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法
EP3142366A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
DE102016111984B4 (de) 2016-06-30 2021-12-23 Infineon Technologies Ag Magnetsensorbauelemente und Verfahren zum Bestimmen einer Rotationsrichtung einer magnetischen Komponente um eine Rotationsachse
US20180350038A1 (en) 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression With Residuals
US20180352209A1 (en) 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US10652579B2 (en) 2017-06-12 2020-05-12 Dolby Laboratories Licensing Corporation Coding multiview video
US10432944B2 (en) * 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US10931956B2 (en) 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11412233B2 (en) 2018-04-12 2022-08-09 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
CN113311006A (zh) * 2020-02-26 2021-08-27 乐达创意科技股份有限公司 自动光学检测***及其检测隐形眼镜边缘瑕疵的方法
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品

Also Published As

Publication number Publication date
GB202017224D0 (en) 2020-12-16
GB2587539B (en) 2023-02-15
US11412233B2 (en) 2022-08-09
US20210195217A1 (en) 2021-06-24
WO2019199854A1 (en) 2019-10-17
GB2587539A (en) 2021-03-31
US10931956B2 (en) 2021-02-23
TWI743467B (zh) 2021-10-21
US20190320186A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
TWI743467B (zh) 用於以多參考深度影像為基礎演顯像差圖合併及像差臨限值判定之方法
US11159824B1 (en) Methods for full parallax light field compression
TWI724626B (zh) 用於全視差壓縮光場三維成像系統之方法
CN110612553B (zh) 对球面视频数据进行编码
TW201703518A (zh) 用於使用深度資訊之全視差壓縮光場合成之方法
Dziembowski et al. IV-PSNR—the objective quality metric for immersive video applications
US11172222B2 (en) Random access in encoded full parallax light field images
Ma et al. Low complexity adaptive view synthesis optimization in HEVC based 3D video coding
Mieloch et al. Overview and efficiency of decoder-side depth estimation in MPEG immersive video
US11711535B2 (en) Video-based point cloud compression model to world signaling information
US20180350038A1 (en) Methods and Systems for Light Field Compression With Residuals
US20220217400A1 (en) Method, an apparatus and a computer program product for volumetric video encoding and decoding
Muller et al. Compressing time-varying visual content
Ng et al. A multi-camera approach to image-based rendering and 3-D/multiview display of ancient chinese artifacts
US11259005B1 (en) Method for compressing light-field data
JP2023522456A (ja) マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス
WO2019185983A1 (en) A method, an apparatus and a computer program product for encoding and decoding digital volumetric video
Lim et al. Adaptive Patch-Wise Depth Range Linear Scaling Method for MPEG Immersive Video Coding
Sharma et al. A Novel Unified Model for Multi-exposure Stereo Coding Based on Low Rank Tucker-ALS and 3D-HEVC
WO2022219230A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
WO2023180839A1 (en) Mesh geometry coding
Menaker et al. Stereo on a Budget
Barkowsky et al. Livrable D4. 2 of the PERSEE project: Représentation et codage 3D-Rapport intermédiaire-Définitions des softs et architecture

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees