TWI463864B - 具試探式視圖融合之視圖合成 - Google Patents

具試探式視圖融合之視圖合成 Download PDF

Info

Publication number
TWI463864B
TWI463864B TW098129160A TW98129160A TWI463864B TW I463864 B TWI463864 B TW I463864B TW 098129160 A TW098129160 A TW 098129160A TW 98129160 A TW98129160 A TW 98129160A TW I463864 B TWI463864 B TW I463864B
Authority
TW
Taiwan
Prior art keywords
candidate pixel
pixel
view
candidate
sum
Prior art date
Application number
TW098129160A
Other languages
English (en)
Other versions
TW201029442A (en
Inventor
Zefeng Ni
Dong Tian
Sitaram Bhagavathy
Joan Llach
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201029442A publication Critical patent/TW201029442A/zh
Application granted granted Critical
Publication of TWI463864B publication Critical patent/TWI463864B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

具試探式視圖融合之視圖合成
闡述關於編碼系統之實施方案。各種特定實施方案係關於用於3D視訊(3DV)應用之具有試探式視圖融合之視圖合成。
本申請案主張(1)2008年9月19日申請之題為「View Synthesis with Boundary-Splatting and Heuristic View Merging for 3DV Applications」之美國臨時申請案第61/192,612號及(2)2008年8月29日申請之題為「View Synthesis with Adaptive Splatting for 3D Video(3DV)Applications」之美國臨時申請案第61/092,967號兩者之權益。兩個美國臨時申請案之內容皆藉此出於所有目的而以全文引用方式併入。
三維視訊(3DV)係一新框架，其包含多視圖視訊及深度資訊之一經編碼表示，且例如以產生在接收器處再現之高品質3D為目標。此達成具有自動立體顯示、自由視點應用及立體顯示之3D視覺體驗。期望具有用於產生額外視圖之進一步技術。
根據一般態樣，基於下列項目至少一者評價來自一第一經扭曲參考視圖之一第一候選像素及來自一第二經扭曲參考視圖之一第二候選像素：該第一候選像素及該第二候選像素之一品質之一反向合成處理程序；該第一候選像素及該第二候選像素周圍之一孔分佈；或基於該第一候選像素及該第二候選像素周圍高於一規定頻率之一能量。該評價作為將至少該第一經扭曲參考視圖及第二經扭曲參考視圖融合成一經信號合成的視圖之部分發生。基於該評價，判定該單個所合成視圖中之一給定目標像素之一結果。
在隨附圖式及以下闡述中陳述一或多項實施方案之細節。即使以一種特定方式闡述，但亦應清楚可以各種方式組態或體現實施方案。舉例而言，可將一實施方案執行為一種方法，或體現為設備(諸如例如，一種經組態以執行一組操作之設備或一種儲存用於執行一組操作之指令之設備)或以一信號體現。自結合隨附圖式及申請專利邊界考量之以下實施方式，其他態樣及特徵將變得顯而易見。
某些3DV應用對輸入視圖施加嚴格限制。該等輸入視圖通常必須經極好地調整，以便一維(1D)視差可闡述一像素如何自一個視圖位移至另一視圖。
基於深度影像之再現(DIBR)係一種視圖合成技術，其使用自多個已校準相機捕獲之許多影像及相關聯之每一像素深度資訊。在概念上，此視圖產生方法可理解為一兩步驟處理程序：(1)3D影像扭曲；及(2)重新建構及再取樣。關於3D影像扭曲，使用深度資料及相關聯之相機參數來將來自參考影像之像素不投影至適當3D位置但將其重新投影至新影像空間上。關於重新建構及再取樣，其涉及判定所合成視圖中之像素值。
該再現方法可基於像素(潑濺)或基於網孔(三角形)。對於3DV，每一像素深度通常藉由被動電腦視覺技術(例如，立體)來估計而非自雷射範圍掃描或電腦圖形學模型產生。因此，對於3DV中之即時處理，在僅給定帶雜訊之深度資訊之情形下，應支持基於像素之方法以避免複雜及計算昂貴的網孔產生，此乃因穩健3D三角量測法(表面重新建構)係一困難的幾何問題。
現有潑濺演算法已達成某些令人印象極深的結果。然而，其經設計與高精度深度合作且可能不適合低品質深度。另外，存在如下態樣：認為許多現有演算法理所當然，例如3D中之一每一像素法向表面或一點雲，其並不存在於3DV中。如此，期望新合成演算法來解決此等具體問題。
在給定深度資訊及相機參數之情形下，容易將參考像素扭曲至所合成視圖上。最顯著問題係如何自經扭曲參考視圖像素估計目標視圖中之像素值。圖1A及圖1B圖解說明此基本問題。圖1A顯示未經調整之視圖合成100。圖1B顯示經調整之視圖合成150。在圖1A及圖1B中，字母「X」表示目標視圖中欲估計之一像素，且圓形及正方形表示自不同參考視圖扭曲之像素，其中不同形狀指示不同參考視圖。
一簡單方法係將經扭曲樣本環繞至其在目的地視圖中之最近像素位置。當多個像素貼圖(map)至所合成視圖中之相同位置時，Z緩衝係一典型解決方案，亦即，選取最接近於相機之像素。此策略(環繞最近像素位置)可通常在稍微低取樣(under-sampled)之任一表面中尤其沿物件邊界產生針孔。解決此針孔問題之最普通方法係將參考視圖中之一個像素貼圖至目標視圖中之數個像素。此處理程序稱作潑濺。
若將一參考像素貼圖至目標視圖中之多個環繞目標像素上，則可消除大多數針孔。然而，將丟失某一影像細節。針孔消除與細節損失之間的相同折衷在使用透明潑濺類型重新建構核心時發生。問題係：「如何控制潑濺程度？」舉例而言，對於每一經扭曲像素，應將其貼圖在所有其環繞目標像素上或僅將其貼圖至最接近於其之一個像素？在文獻中在很大程度上未解決此問題。
當採用多個參考視圖時，一普通方法將單獨處理來自每一參考視圖之合成且然後將多個所合成視圖融合在一起。問題係如何融合該等所合成視圖，例如可使用某種加權方案。舉例而言，不同權重可基於角距離、影像解析度等等應用於不同參考視圖。注意，應以對帶雜訊之深度資訊穩健之一方式解決此等問題。
使用DIBR，可自所捕獲視圖產生一虛擬視圖，其在此背景中亦稱作參考視圖。產生一虛擬視圖係一具有挑戰性的任務，尤其在輸入深度資訊帶雜訊且不知曉其他景象資訊(例如，該景象之3D表面性質)時。
大多數困難問題中之一者通常係如何在扭曲參考視圖中之樣本像素之後估計所合成視圖中每一像素之值。舉例而言，對於每一目標所合成像素，應利用何種參考像素，且如何將其組合？
在至少一項實施方案中，提出用於用於3DV應用之具有邊界潑濺之視圖合成的一框架。本發明者已注意到，在涉及一虛擬視圖之產生(例如，使用DIBR)之3DV應用中，此產生係一具有挑戰性的任務，尤其是在輸入深度資訊帶雜訊且不知曉其他景象資訊(例如，該景象之一3D表面性質)時。
本發明者已進一步注意到，若將一參考像素貼圖至目標視圖中之多個環繞目標像素上，則可消除大多數針孔，令人遺憾地某一影像細節將丟失。針孔消除與細節損失之間的相同折衷在使用透明潑濺類型重新建構核心時發生。問題係：「如何控制潑濺程度？」舉例而言，對於每一經扭曲像素，應將其貼圖在所有其環繞目標像素上或僅將其貼圖至最接近於其之一個像素？
在至少一項實施方案中，提出：(1)僅將潑濺應用於邊界層周圍之像素，亦即，僅將具有較小深度中斷之區域中之像素貼圖至其最近鄰近像素；及(2)在融合來自多個參考視圖之所合成影像時，藉助Z緩衝使用孔分佈或反向合成誤差之兩個新試探式融合方案。
另外，本發明者已注意到，為自參考視圖合成一虛擬視圖，通常需要三個步驟，亦即：(1)前向扭曲；(2)摻和(單個視圖合成及多視圖融合)；及(3)孔填充。至少一項實施方案貢獻數個演算法來改良摻和從而解決由帶雜訊之深度資訊所引起的問題。與3DV中之某些現有方案相比較，我們的模擬已顯示出優越品質。
關於以上所提及之與自參考視圖合成一虛擬視圖相關之三個步驟中之扭曲步驟，關於如何處理扭曲結果，基本上可認為存在兩個選項，亦即融合及摻和。
關於融合，可完全扭曲每一視圖以針對每一參考形成一最終經扭曲視圖。然後，可「融合」此等最終經扭曲視圖以得到一單個真正最終所合成視圖。「融合」將涉及(例如)在N個候選者(假定存在N個最終經扭曲視圖)之間進行挑選或以某種方式將其組合。當然，應瞭解，用於判定目標像素值之候選者數目無需與經扭曲視圖數目相同。亦即，多個候選者(或根本無候選者)可來自一單個視圖。
關於摻和，仍扭曲每一視圖，但並不針對每一參考形成一最終經扭曲視圖。在未結束之前，在摻和時保持更多選項。此可係有利的，此乃因在某些情形下，不同視圖可為所合成目標視圖之不同部分提供最佳資訊。因此，摻和提供在每一像素處自不同視圖選取正確資訊組合之靈活性。因此，融合可視為兩步驟摻和之一特殊情形，其中首先單獨處理來自每一視圖之候選者且然後將結果組合。
再次參照圖1A，圖1A可用於顯示至一典型摻和操作之輸入，此乃因圖1A包含來自不同參考視圖(分別係圓形及正方形)之經扭曲像素。與此相反，對於一典型融合應用，將期盼僅看到圓形或正方形，此乃因通常將單獨扭曲每一參考視圖且然後對其加以處理以針對相應參考形成一最終經扭曲視圖。然後，針對多個參考之最終經扭曲視圖將在典型融合應用中組合。
返回至摻和，作為與其相關之一個可能選項/考量，可能因尚不希望填充所有孔而不執行潑濺。熟習此項技術及相關技術者將容易地判定此等及其他選項，同時維持本原理之精神。
因此，應瞭解，本原理之一或多項實施例可係關於融合，而本原理之其他實施例可係關於摻和。當然，進一步實施例可涉及融合與摻和之一組合。此應用中所論述之特徵及概念通常可應用於摻和及融合兩者，即使僅在摻和或融合中之僅一者之背景中加以論述。在給定本文中提供之本原理之教示之情形下，熟習此項技術及相關技術者將容易地設想出與融合及/或摻和相關之各種應用，同時維持本原理之精神。
應瞭解，本原理通常係關於通信系統，且更特定而言，係關於無線系統，例如陸地廣播、行動電話、無線保真(Wi-Fi)、衛星等等。將進一步瞭解，本原理可在(例如)一編碼器、一解碼器、一預處理器、一後置處理器及一接收器(其可包含前述裝置中之一者或多者)中實施。舉例而言，在其中期望產生一虛擬影像以用於編碼目的之一應用中時，則本原理可在一編碼器中實施。作為關於一編碼器之一進一步實例，此一編碼器可用於合成一虛擬視圖以用於對來自彼虛擬視圖位置之實際圖像進行編碼，或對來自接近於該虛擬視圖位置之一視圖位置之圖像進行編碼。在涉及兩個參考圖像之實施方案中，可連同對應於虛擬視圖之一虛擬圖像對兩者進行編碼。當然，在給定本文中提供之本原理之教示之情形下，熟習此項技術及相關技術者將設想出本原理可應用於其之此等及各種其他應用以及前述應用之變型，同時維持本原理之精神。
另外，應瞭解，雖然本文中參照H.264/MPEG-4 AVC(AVC)標準闡述了一或多項實施例，但本原理並不僅限於其，且因此，在給定本文中提供之本原理之教示之情形下，本原理可容易地應用於多視圖視訊編碼(MVC)、當前及將來3DV標準以及其他視訊編碼標準、技術規範及/或建議，同時維持本原理之精神。
注意，「潑濺」係指將來自一參考視圖之一個經扭曲像素貼圖至目標視圖中之數個像素之處理程序。
注意，「深度資訊」係涉及關於深度之各種資訊之一般術語。一種類型之深度資訊係一「深度圖」(depth map)，其通常係指一每一像素深度影像。舉例而言，其他類型之深度資訊包含將一單個深度值用於每一經編碼區塊而非每一經編碼像素。
圖2A顯示根據本原理之一實施例之本原理可應用於其之一例示性視圖合成器200。視圖合成器200包含前向扭曲器210-1至210-K、一視圖融合器220及一孔填充器230。前向扭曲器210-1至210-K之相應輸出與影像合成器215-1至215-K之相應輸入以信號通信方式連接。影像合成器215-1至215-K之相應輸出與視圖融合器220之一第一輸入以信號通信方式連接。視圖融合器220之一輸出與孔填充器230之一第一輸入以信號通信方式連接。前向扭曲器210-1至210-K之第一相應輸入可用作視圖合成器200之輸入以用於接收相應參考視圖1至K。前向扭曲器210-1至210K之第二相應輸入及影像合成器215-1至215-K之第二相應輸入可用作視圖合成器200之輸入以用於分別接收視圖1及對應於其之目標視圖深度貼圖及相機參數上至視圖K及對應於其之目標視圖深度貼圖及相機參數。視圖融合器220之一第二輸入可用作視圖合成器之一輸入以用於接收所有視圖之深度貼圖及相機參數。孔填充器230之一第二(選用)輸入可用作視圖合成器200之一輸入以用於接收所有視圖之深度貼圖及相機參數。孔填充器230之一輸出可用作視圖合成器200之一輸出以用於輸出一目標視圖。
圖2B顯示根據本原理之一實施例之本原理可應用於其之一例示性影像合成器250。影像合成器250包含一潑濺器255，其具有與一目標像素評估器260之一輸入以信號通信方式連接之一輸出。目標像素評估器260之一輸出與一孔標記器265之一輸入以信號通信方式連接。潑濺器255之一輸入可用作影像合成器250之一輸入以用於自一參考視圖接收經扭曲像素。孔標記器265之一輸出可用作影像合成器250之一輸出以用於輸出一所合成影像。應瞭解，孔標記器265係選用的，且在其中不需要進行孔標記但目標像素評估充分之某一實施方案中可省略。
潑濺器255可以各種方式實施。舉例而言，執行潑濺功能之一軟體演算法可在一通用電腦或一專用機器(諸如例如，一視訊編碼器)上實施。一般潑濺功能為熟習此項技術者所眾所周知。此一實施方案可如此應用中所述加以修改以(例如)基於一經扭曲參考中之一像素是否在離一個或多個深度邊界之一規定距離內來執行潑濺功能。如由此應用中所述之實施方案加以修改之潑濺功能可另一選擇為在一特殊用途積體電路(例如，一應用專用積體電路(ASIC))或其他硬體中實施。實施方案亦可使用軟體、硬體及韌體之一組合。
圖2A及圖2B之其他元件(諸如例如，前向扭曲器210、孔標記器265及目標像素評估器260)可實施為與潑濺器255在一起。舉例而言，一前向扭曲器210之實施方案可使用軟體、硬體及/或韌體來在一通用電腦或應用專用裝置或應用專用積體電路上執行眾所周知之扭曲功能。另外，一孔標記器265之實施方案可使用(例如)軟體、硬體及/或韌體來執行各種實施例中所述之用於標記一孔之功能，且舉例而言，此等功能可在一通用電腦或應用專用裝置或應用專用積體電路上執行。此外，一目標像素評估器260之實施方案可使用(例如)軟體、硬體及/或韌體來執行各種實施例中所述之用於評估一目標像素之功能，且舉例而言，此等功能可在一通用電腦或應用專用裝置或應用專用積體電路上執行。
此外，視圖融合器220亦可包含一孔標記器，諸如例如孔標記器265或孔標記器265之一變型。在此等實施方案中，舉例而言，如在實施例2及3以及圖8及10之論述中所述，視圖融合器220亦將能夠標記孔。
另外，視圖融合器220可以各種方式實施。舉例而言，執行視圖融合功能之一軟體演算法可在一通用電腦或一專用機器(諸如例如，一視訊編碼器)上實施。一般視圖融合功能為熟習此項技術者所眾所周知。然而，此一實施方案可如此應用中所述加以修改以執行(例如)針對此應用之一或多項實施方案所論述之視圖融合技術。如由此應用中所述之實施方案加以修改之視圖融合功能可另一選擇為在一特殊用途積體電路(例如，一應用專用積體電路(ASIC))或其他硬體中實施。實施方案亦可使用軟體、硬體及韌體之一組合。
視圖融合器220之某些實施方案包含用於基於下列項目至少一者評價來自一第一經扭曲參考視圖之一第一候選像素及來自一第二經扭曲參考視圖之一第二候選像素之功能性：該第一候選像素及該第二候選像素之一品質之一反向合成處理程序；該第一候選像素及該第二候選像素周圍之一孔分佈；或基於該第一候選像素及該第二候選像素周圍高於一規定頻率之一能量。視圖融合器220之某些實施方案進一步包含用於基於該評價來判定單個所合成視圖中之一給定目標像素之一結果之功能性。舉例而言，在圖10及此應用之其他部分之論述中闡述此等功能性中之兩者。舉例而言，此等實施方案可包含用於執行此等功能中之每一者之一單組指令或不同(包含重疊)組指令，且舉例而言，此等指令可在一通用電腦、一特殊用途機器(諸如例如，一視訊編碼器)或一應用專用積體電路上實施。此外，此等功能性可使用軟體、硬體或韌體之各種組合實施。
圖3顯示根據本原理之一實施方案之本原理可應用於其之一例示性視訊傳輸系統300。舉例而言，視訊傳輸系統300可係一頭部端系統或傳輸系統，其用於使用(諸如例如)衛星、電纜、電話線或陸地廣播等多種媒體中之任一者來傳輸一信號。該傳輸可經由網際網路或某些其他網路提供。
視訊傳輸系統300能夠產生且遞送使用視圖間跳躍模式藉由深度編碼之視訊內容。此可藉由產生經編碼信號來達成，該(等)經編碼信號包含深度資訊或能夠用於在一接收器端(例如，其可具有一解碼器)處合成該深度資訊之資訊。
視訊傳輸系統300包含一編碼器310及能夠傳輸經編碼信號之一傳輸器320。編碼器310接收視訊資訊且自使用視圖間跳躍模式藉由深度在彼處產生經編碼信號。舉例而言，編碼器310可係一AVC編碼器。編碼器310可包含子模組，舉例而言，該等子模組包含用於接收多條資訊且將其彙編成一結構化格式以供儲存或傳輸之一彙編單元。舉例而言，該多條資訊可包含經編碼或未經編碼視訊、經編碼或未經編碼深度資訊及經編碼或未經編碼元素，諸如例如運動向量、編碼模式指示符及語法元素。
舉例而言，傳輸器320可適於傳輸具有表示經編碼圖像及/或與其相關之資訊的一個或多個位元流之一程式化信號。典型傳輸器執行如下功能，諸如例如提供誤差校正編碼、使信號中之資料交錯、使信號中之能量隨機化及將該信號調變至一個或多個載波上中之一者或多者。傳輸器可包含一天線(未顯示)或與該天線介接。因此，傳輸器320之實施方案可包含或限於一調變器。
圖4顯示根據本原理之一實施例之本原理可應用於其之一例示性視訊接收系統400。視訊接收系統400可經組態以經由(諸如例如)衛星、電纜、電話線或陸地廣播等多種媒體接收信號。該等信號可經由網際網路或某一其他網路接收。
舉例而言，視訊接收系統400可係一行動電話、一電腦、一視訊轉換器、一電視機或接收經編碼視訊且提供(例如)經解碼視訊以用於向一使用者顯示或用於儲存之其他裝置。因此，舉例而言，視訊接收系統400可將其輸出提供至一電視機之一螢幕、一電腦監視器、一電腦(用於儲存、處理或顯示)或某些其他儲存、處理或顯示裝置。
視訊接收系統400能夠接收且處理包含視訊資訊之視訊內容。視訊接收系統400包含：一接收器410，其能夠接收(諸如例如)此應用之實施方案中所述之信號之一經編碼信號；及一解碼器420，其能夠對該所接收信號進行解碼。
舉例而言，接收器410可適於接收具有表示經編碼圖像之複數個位元流之一程式化信號。典型接收器執行如下功能，諸如例如接收一經調變且經解碼之資料信號、解調變來自一個或多個載波之資料信號、使該信號中之能量解隨機化、使該信號中之資料解交錯及對該信號進行誤差校正解碼中之一者或多者。接收器410可包含一天線(未顯示)或與該天線介接。接收器410之實施方案可包含或限於一解調變器。
解碼器420輸出包含視訊資訊及深度資訊之視訊信號。舉例而言，解碼器420可係一AVC解碼器。
圖5顯示根據本原理之一實施例之本原理可應用於其之一例示性視訊處理裝置500。舉例而言，視訊處理裝置500可係一視訊轉換器或接收經編碼視訊且提供(例如)經解碼視訊以用於向一使用者顯示或用於儲存之其他裝置。因此，視訊處理裝置500可將其輸出提供至一電視機、電腦監視器或一電腦或其他處理裝置。
視訊處理裝置500包含一前端(FE)裝置505及一解碼器510。舉例而言，前端裝置505可係適於接收具有表示經編碼圖像之複數個位元流之一程式化信號且適於自該複數個位元流選擇用於解碼之一個或多個位元流之一接收器。典型接收器執行如下功能，諸如例如接收一經調變且經編碼之資料信號、解調變該資料信號、對該資料信號之一個或多個編碼(例如，溝道編碼及/或源編碼)進行解碼及/或對該資料信號進行誤差校正中之一者或多者。舉例而言，前端裝置505可自一天線(未顯示)接收該程式化信號。前端裝置505將一所接收資料信號提供至解碼器510。
解碼器510接收一資料信號520。舉例而言，資料信號520可包含高級視訊編碼(AVC)、可縮放視訊編碼(SVC)或多視圖視訊編碼(MVC)相容流中之一者或多者。
更具體而言，AVC係指現有國際標準化組織/國際電工委員會(ISO/IEC)動畫專家組4(MPEG-4))部分10高級視訊編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T)H.264建議(下文稱作「H.264/MPEG-4 AVC標準」或其變型，例如「AVC標準」或僅「AVC」)。
更具體而言，MVC係指AVC標準之一多視圖視訊編碼(「MVC」)擴展(附錄H)，稱作H.264/MPEG-4 AVC，MVC擴展(「MVC擴展」或僅「MVC」)。
更具體而言，SVC係指AVC標準之一可縮放視訊編碼(「SVC」)擴展(附錄G)，稱作H.264/MPEG-4 AVC，SVC擴展(「SVC擴展」或僅「SVC」)。
解碼器510對所接收信號520之全部或一部分進行解碼且提供一經解碼視訊信號530作為輸出。將經解碼視訊530提供至一選擇器550。裝置500亦包含接收一使用者輸入570之一使用者介面560。使用者介面560基於使用者輸入570將一圖像選擇信號580提供至選擇器550。圖像選擇信號580及使用者輸入570指示一使用者期望顯示多個圖像、序列、可縮放版本、視圖或可用經解碼資料之其他選擇中之哪一者。選擇器550提供選定圖像作為一輸出590。選擇器550使用圖像選擇資訊580來選擇將經解碼視訊530中圖像中之哪一者提供為輸出590。
在各種實施方案中，選擇器550包含使用者介面560，且在其他實施方案中不需要使用者介面560，此乃因選擇器550不藉助正執行之一單獨介面功能直接接收使用者輸入570。舉例而言，選擇器550可在軟體中實施或實施為一積體電路。在一項實施方案中，選擇器550併入有解碼器510，且在另一實施方案中，將解碼器510、選擇器550及使用者介面560全部整合在一起。
在一個應用中，前端505接收各種電視節目之一廣播且選擇一個用於處理。對一個節目之選擇係基於一所期望觀看頻道之使用者輸入。雖然圖5中未顯示至前端裝置505之使用者輸入，但前端裝置505接收使用者輸入570。前端505接收廣播且藉由解調變廣播頻譜之相關部分及對經解調變節目之任一外部編碼進行解碼來處理所期望節目。前端505將經解碼節目提供至解碼器510。解碼器510係包含裝置560及550之一整合式單元。因此，解碼器510接收係該節目中之一所期望觀看視圖之一使用者供應指示之使用者輸入。解碼器510對選定視圖以及來自其他視圖之任何所需參考圖像進行解碼，且提供經解碼視圖590以用於顯示於一電視機(未顯示)上。
繼續以上應用，使用者可期望切換所顯示之視圖且可然後將一新輸入提供至解碼器510。自使用者接收一「視圖改變」之後，解碼器510對舊視圖及新視圖兩者以及位於該舊視圖與該新視圖中間的任何視圖進行解碼。亦即，解碼器510對自在實體上位於拍攝舊視圖之相機與拍攝新視圖之相機之中間的相機拍攝之任何視圖進行解碼。前端裝置505亦接收識別舊視圖、新視圖及其中間的視圖的資訊。舉例而言，此資訊可由具有關於該等視圖位置之資訊的一控制器(圖5中未顯示)或解碼器510提供。其他實施方案可使用具有與該前端裝置整合在一起之一控制器的一前端裝置。
解碼器510提供所有此等經解碼視圖作為輸出590。一後置處理器(在圖5中未顯示)內插在該等視圖之間以提供自舊視圖至新視圖之一平滑過渡，且向使用者顯示此過渡。在過渡至新視圖之後，該後置處理器(透過未顯示之一個或多個通信鏈路)通知解碼器510及前端裝置505僅期望該新視圖。此後，解碼器510僅提供該新視圖作為輸出590。
系統500可用於接收一影像系列之多個視圖，且呈現一單個視圖用於顯示，且以一平滑方式在各種視圖之間切換。該平滑方式可涉及內插在視圖之間以移動至另一視圖。另外，系統500可允許一使用者旋轉一物件或景象，或以其他方式看到一物件或一景象之三維表示。舉例而言，物件之旋轉可對應於逐視圖移動及內插在該等視圖之間以獲得該等視圖之間的一平滑過渡或僅獲得三維表示。亦即，使用者可「選擇」一經內插之視圖作為欲顯示之「視圖」。
圖2A及圖2B之元件可併入在圖3至圖5中之各個位置處。舉例而言，圖2A及圖2B之元件中之一者或多者可位於編碼器310及解碼器420中。作為一進一步實例，視訊處理裝置500之實施方案可在解碼器510中或在圖5之論述中所提及之內插在所接收視圖之間的後置處理器中包含圖2A及圖2B之元件中之一者或多者。
返回至本原理及其中可應用該等原理之環境之一闡述，應瞭解，本原理有利地可應用於3D視訊(3DV)。3D視訊係一新框架，其包含多視圖視訊及深度資訊之一經編碼表示，且以產生在接收器處再現之高品質3D為目標。此達成具有自動立體顯示之3D視覺體驗。
圖6顯示根據本原理之一實施例之本原理可應用於其之用於傳輸及接收具有深度資訊之多視圖視訊之一例示性系統600。在圖6中，由一實線指示視訊資料，由一虛線指示深度資料，且由一點線指示元資料。舉例而言，系統600可係但不限於一自由視點電視機系統。在一傳輸器側610處，系統600包含三維(3D)內容產生器620，其具有複數個輸入以用於自相應複數個源接收視訊資料、深度資料及元資料中之一者或多者。此等源可包含但不限於：一立體相機611、一深度相機612、一多相機設置613及二維/三維(2D/3D)轉換處理程序614。一個或多個網路630可用於傳輸與多視圖視訊編碼(MVC)及數位視訊廣播(DVB)相關之視訊資料、深度資料及元資料中之一者或多者。
在一接收器側640處，一基於深度影像之再現器650執行基於深度影像之再現以將信號投影至各種類型之顯示器。此應用情形可施加具體約束，例如狹窄角度獲取(<20度)。基於深度影像之再現器650能夠接收顯示器組態資訊及使用者偏好。可將基於深度影像之再現器650之一輸出提供至一2D顯示器661、一M視圖3D顯示器662及/或一頭部追蹤式立體顯示器663中之一者或多者。
前向扭曲
執行視圖合成中之第一步驟係前向扭曲，其涉及為參考視圖中之每一像素找到其在目標視圖中之對應位置。此3D影像扭曲在電腦圖形學中眾所周知。端視是否調整輸入視圖，可使用不同方程式。
(a)未經調整之視圖
若由一3D點之齊次坐標P =[x,y,z,l ]T 界定該3D點且該點在參考影像平面中之透視投影(亦即，2D影像位置)係p r =[u r ,v r ,l ]T ，則具有以下方程式：
w r ‧p r =PPM r ‧P， 　(1)
其中，w r 係深度因數，且PPM r 係3x4透視投影矩陣，其自相機參數已知。相應地，得到如下用於所合成(目標)視圖之方程式：
w s ‧p s =PPM s ‧P 。　(2)
將PPM r 之十二個元表示為q ij ，其中i =1,2,3且j =1,2,3,4。自影像點p r 及其深度z ，可藉由如下之一線性方程式估計3D點P 之其他兩個分量。
其中
b 1 =(q 14 -q 34 )+(q 13 -q 33 )z ,a 11 =u r q 31 -q 11 ,a 12 =u r q 32 -q 12 .
b 2 =(q 24 -q 34 )+(q 23 -q 33 )z ,a 21 =v r q 31 -q 21 ,a 22 =v r q 32 -q 22 .
注意，在3DV中，參考視圖中每一像素之輸入深度位準被量化成八個位元(亦即，256個位準，其中較大值意味著較接近於相機)。扭曲期間所使用之深度因數z 藉助如下公式直接鏈接至其輸入深度位準Y ：
其中Z near 及Z far 分別對應於景象中最近像素及最遠像素之深度因數。當使用多於(或少於)8個位元來量化深度資訊時，方程式(4)中之值255應由2 B -1 替代，其中B 係位元深度。
當已知P 之3D位置且藉由方程式(2)將其重新投影至所合成影像平面上時，得到其在目標視圖p s 中之位置(亦即，經扭曲像素位置)。
(b)經調整視圖
對於經調整視圖，一1-D視差(通常沿一水平線)闡述一像素如何自一個視圖位移至另一視圖。假設給出如下相機參數：
(i)f ，相機透鏡之焦距；
(ii)l ，基線間距，亦稱作相機距離；及
(iii)du ，主點偏移差。
考量到已極好地調整了輸入視圖，如下公式可用於自參考視圖中之像素p r =[u r ,v r ,l ]T 計算目標視圖中之經扭曲位置p s =[u s ,v s ,l ]T ：
參考視圖及所合成視圖處之子像素精度
為改良所合成視圖處之影像品質，可對參考視圖進行增加取樣，亦即，可將新子像素***半像素位置處且可係四分之一像素位置或甚至更精細解析度。可相應地對深度影像進行增加取樣。以與整數參考像素(扭曲至全像素位置之像素)相同之方式來扭曲參考視圖中之子像素。類似地，在所合成視圖中，可將新目標像素***子像素位置處。
應瞭解，雖然參照半像素及半像素位置闡述了一或多項實施方案，但本原理亦可容易地適用於任一大小子像素(且因此，對應子像素位置)，同時維持本原理之精神。
所提出之方法：視圖摻和
在圖1A及圖1B中圖解說明視圖扭曲之結果。此處，應解決如何自其環繞之經扭曲參考像素估計目標視圖中之像素值的問題。圖7顯示根據本原理之一實施例之一視圖合成及融合處理程序700。處理程序700在扭曲之後執行，且包含用於單個視圖合成之邊界層潑濺及一新視圖融合方案。在步驟702處，將一參考視圖1輸入至處理程序700。在步驟704處，將一參考視圖2輸入至處理程序700。在步驟705處，扭曲每一參考像素(包含因增加取樣所***之子像素)。在步驟710處，基於一深度影像偵測一邊界。在步驟715處，判定經扭曲像素是否接近於該邊界。若接近，則將控制傳遞至一步驟720。否則，將控制傳遞至一步驟735。
在步驟720處，將經扭曲像素貼圖至其左邊及右邊上之最接近目標像素。
在步驟725處，在將多個像素貼圖至相同目標像素之情形下執行Z緩衝。
在步驟730處，自先前處理輸入/獲得自參考1合成之一影像。在步驟740處，類似於對於參考視圖1之執行來對參考視圖2執行處理。在步驟745處，自先前處理輸入/獲得自參考2合成之一影像。
在步驟750處，執行景象融合以融合自參考1合成之該影像與自參考2合成之該影像。
實施例1：邊界層潑濺
如以上所解釋，為減少針孔，將一經扭曲像素貼圖至多個鄰近目標像素。在一經調整視圖之情形下，通常將其貼圖至其左邊及右邊上之目標像素。為簡單起見，將解釋針對經調整視圖之情形所提出之方法(圖1B)。舉例而言，在圖1B中，將經扭曲像素W1 貼圖至目標像素S1 及S2 。然而，吾等發現此可影響影像品質，尤其在使用子像素精度時(亦即，高頻細節因潑濺而丟失)。應注意，針孔大多數發生在前景與背景之間的邊界(亦即，具有一大的深度中斷之一邊界)周圍，吾等建議僅將潑濺應用於接近於該邊界之像素。在圖1B之情形下，若像素W1 不接近於邊界(例如，離該邊界遠於一50像素距離)，則僅將其貼圖至其最接近之目標像素S1 。當然，前述50像素距離僅係說明性，因此，如熟習此項技術及相關技術者容易地設想出亦可使用其他像素距離，同時維持本原理之精神。
此處「邊界」僅係指具有一大的深度中斷之影像之部分，且因此易於自參考視圖之深度影像進行偵測。對於被視為邊界之彼等像素，在前向扭曲中執行潑濺。另一方面，對遠離邊界之像素停用潑濺，此幫助在無過多深度變化之情形下保持物件內側之高頻細節，尤其在於所合成影像處使用子像素精度時。在另一實施例中，將參考視圖之深度影像前向扭曲至虛擬位置且然後後進行所合成深度影像中之邊界層擷取。一旦將一像素扭曲至邊界區，即執行潑濺。
當將多個經扭曲像素貼圖至所合成視圖中之相同目標像素時，可藉由比較各深度位準來應用一容易Z緩衝方案(挑選較接近於相機之像素)。當然，亦可使用任一其他加權方案來對其求平均，同時維持本原理之精神。
實施例2 基於Z緩衝、孔分佈及相機位置之融合
當多於一個參考視圖係可用時，當如圖7中針對兩個視圖之情形所圖解說明一所合成影像係自每一視圖單獨產生時，通常需要一融合處理程序。問題係如何將其組合，亦即，如何自p1 (來自參考視圖1之所合成影像上之並置像素)及p2 (來自參考視圖2之所合成影像上之並置像素)得到所融合影像中一目標像素p 之值？
所合成影像中之某些像素從未在摻和步驟期間被指派一值。此等位置稱作孔，通常由不閉塞點(參考視圖中因視點差而在所合成視圖中未被覆蓋之先前不可見景象點)或因輸入深度誤差引起。
當p1 或p2 係一孔時，非孔像素之像素值將在最終所融合影像中指派為p 。當p1 及p2 皆不係孔時，發生一衝突。若p1 及p2 兩者皆係孔，則使用一孔填充方法，且在此項技術中已知各種此等方法。最簡單的方案係再次應用Z緩衝，亦即，藉由比較其深度位準來選取較接近於相機之像素。然而，由於所輸入之深度影像係帶雜訊且p1 及p2 係來自其深度影像可能不一致之兩個不同參考視圖，因此簡單應用Z緩衝可在最終所融合影像上產生許多假影。在此情形下，如下對p1 及p2 求平均可減少假影：
p =(p 1*w 1+p 2*w 2)/(w 1+w 2),　(6)
其中w1 及w2 係視圖加權因數。在一項實施方案中，可將其簡單地設定為一(1)。對於經調整之視圖，建議基於基線間距l i (視圖i 與所合成視圖之間的相機距離)來設定其，例如wi =1/l i 。此外可應用任一其他現有加權方案，從而將一個或數個參數組合。
圖8顯示根據本原理之一實施例之利用深度、孔分佈及相機參數之一融合處理程序。在步驟805處，將p 1、p 2(與p 相同之影像位置)輸入至處理程序800。在步驟810處，判定|深度(p1 )-深度(p2 )|>深度臨限值與否。若大於，則將控制傳遞至一步驟815。否則，將控制傳遞至一步驟830。
在步驟815處，將較接近於相機之一者(p1 或p2 )挑選(亦即，Z緩衝)為p 。
在步驟830處，執行關於在p1 及p2 周圍在其相應所合成影像中存在多少個孔之一計數(亦即，找到孔計數1及孔計數2)。
在步驟820處，判定|孔計數1-孔計數2|>孔臨限值與否。若大於，則將控制傳遞至一步驟825。否則，將控制傳遞至一步驟835。
在步驟825處，將周圍具有較少孔之一者(p1 或p2 )挑選為p。
在步驟835處，使用方程式(6)對p1 及p2 求平均。
關於處理程序800，基本想法係只要深度相差很大(例如，|深度(p1 )-深度(p2 )|>深度臨限值)，即應用Z緩衝。應瞭解，所使用之前述深度量僅係說明性，且因此亦可使用其他量，同時維持本原理之精神。當深度位準係類似時，則檢查p1 及p2 周圍之孔分佈。在一項實例中，對環繞p1 及p2 之孔像素數目進行計數，亦即，找到孔計數1及孔計數2。若其相差很大(例如，|孔計數1-孔計數2|>孔臨限值)，則挑選其周圍具有較少孔之一者。應瞭解，所使用之前述孔計數量僅係說明性，且因此亦可使用其他量，同時維持本原理之精神。否則，應用方程式(6)求平均。注意，可例如基於影像大小或計算約束來使用不同鄰域對孔數目進行計數。亦進一步注意，亦可使用孔計數來計算視圖加權因數。
除簡單孔計數外，亦可考量孔位置。舉例而言，與大多數孔位於一個側上(水平相機配置中其左側或其右側上)之一像素相比較，孔散佈於周圍之一像素非較佳。
在一不同實施方案中，若不認為p1 及p2 中之任一者足夠良好，則捨棄p1 及p2 兩者。因此，將p 標記為一孔且基於一孔填充演算法導出其值。舉例而言，若p1 及p2 之相應孔計數兩者皆高於一臨限值(孔臨限值2)，則捨棄p1 及p2 。
應瞭解，在一項實施方案中「環繞孔」可僅包括與一特定目標像素毗鄰之像素，或可包括在離該特定目標像素的預定數目之像素距離內之像素。熟習此項技術及相關技術者將容易地設想出此等及其他變型，同時維持本原理之精神。
實施例3：使用反向合成誤差
在實施例2中，將環繞孔分佈連同Z緩衝一起用於融合處理程序以處理帶雜訊之深度影像。此處，提出另一方法來如圖9中所示幫助視圖融合。圖9顯示根據本原理之一實施例之利用深度、反向合成誤差及相機參數之一融合處理程序。在步驟902處，將來自參考視圖1之一所合成影像輸入至處理程序900。在步驟904處，將來自參考視圖2之一所合成影像輸入至處理程序900。在步驟903中，將p1 、p2 (與p相同之影像位置)輸入至該處理程序。在步驟905處，反向合成參考視圖1，且比較所重新合成之參考視圖1與輸入參考視圖1。在步驟910處，將與該輸入參考視圖之差(誤差)D1輸入至處理程序900。在步驟915處，在p周圍之一小的鄰域處比較D1與D2，且判定其是否類似。若類似，則將控制傳遞至一功能區塊930。否則，將控制傳遞至一功能區塊935。
在步驟930處，使用方程式(6)對p1 及p2 求平均。
在步驟935處，將具有較小誤差之一者(p1 或p2 )挑選為p。
在步驟920處，判定|深度(p1 )-深度(p2 )|>深度臨限值與否。若大於，則將控制傳遞至一步驟925。否則，將控制傳遞至步驟915。
在步驟925處，將較接近於相機之一者(p1 或p2 )挑選(亦即，Z緩衝)為p。
在步驟950處，反向合成參考視圖2，且比較所重新合成之參考視圖2與輸入參考視圖2。在步驟955處，將與該輸入參考視圖之差(誤差)D2 輸入至處理程序900。
自每一所合成影像(連同所合成深度)，重新合成初始參考視圖且找到所反向合成影像與輸入參考影像之間的誤差。將其稱作反向合成誤差影像D 。將此處理程序應用於參考影像1及參考影像2，得到D1 及D2 。在該融合步驟期間，當p1 及p2 具有類似深度時，若p1 周圍之一鄰域中之反向合成誤差D1 (例如，5×5像素範圍內之誤差總和)遠大於p2 周圍所計算之D2 ，則將挑選p2 。類似地，若D2 大於D1 ，則挑選p1。此想法係基於大反向合成誤差與大深度影像雜訊密切相關之假設。若誤差D1 與D2 類似，則可使用方程式(6)。
類似於實施例2，在一不同實施方案中，若p1 及p2 中之任一者皆不足夠良好，則可捨棄p1 及p2 兩者。舉例而言，如圖10中所圖解說明，若對應反向合成誤差D1 (D2 )高於一給定臨限值，則可捨棄p1 (p2 )。
圖10顯示根據本原理之一實施例之利用深度、反向合成誤差及相機參數之另一融合處理程序。在步驟1002處，將來自參考視圖1之一所合成影像輸入至處理程序1000。在步驟1005處，反向合成參考視圖1且比較所重新合成之參考視圖1與輸入參考視圖1。在步驟1010處，將與該輸入參考視圖之差(誤差)D1 輸入至處理程序1000。
在步驟1004處，將來自參考視圖2之一所合成影像輸入至處理程序1000。在步驟1050處，反向合成參考視圖2且比較所重新合成之參考視圖2與輸入參考視圖2。在步驟1055處，將與該輸入參考視圖之差(誤差)D2 輸入至處理程序1000。注意，D1 及D2 至少用於步驟1040及跟在步驟1040後的步驟中。
在步驟1003處，將p1 、p2 (與p相同之影像位置)輸入至該處理程序。在步驟1020處，判定|深度(p1 )-深度(p2 )|>深度臨限值與否。若大於，則將控制傳遞至一步驟1025。否則，將控制傳遞至步驟1040。
在步驟1025處，將較接近於相機之一者(p1 或p2 )挑選(亦即，Z緩衝)為p。
在步驟1040處，判定D1 及D2 兩者是否皆小於p周圍之一小的鄰域處之一臨限值。若小於，則將控制傳遞至一步驟1015。否則，將控制傳遞至一步驟1060。
在步驟1015處，在p周圍之一小的鄰域處比較D1 與D2 ，且判定其是否類似。若類似，則將控制傳遞至一功能區塊1030。否則，將控制傳遞至一功能區塊1035。
在步驟1030處，使用方程式(6)對p1 及p2 求平均。
在步驟1035處，將具有較小誤差之一者(p1 或p2 )挑選為p。
在步驟1060處，判定D1 是否係小於p周圍之一小的鄰域處之一臨限值。若小於，則將控制傳遞至一功能區塊1065。否則，將控制傳遞至一步驟1070。
在步驟1065處，將p1 挑選為p。
在步驟1070處，判定D2 是否係小於p 周圍之一小的鄰域處之一臨限值。若小於，則將控制傳遞至一步驟1075。否則，將控制傳遞至一步驟1080。
在步驟1075處，將p2 挑選為p。
在步驟1080處，將p 標記為一孔。
實施例4：使用高頻能量
在此實施例中，提出將高頻能量作為評估經扭曲像素之品質之一量度。前向扭曲之後之空間活動之一顯著增加可能指示在扭曲處理程序期間存在誤差(例如，因不良深度資訊引起)。由於較高空間活動轉化為更多高頻能量，因此提出使用在影像塊斑(諸如例如但不限於，MxN個像素之區塊)上計算之高頻能量資訊。在一特定實施方案中，若一像素周圍不存在來自所有參考視圖之許多孔，則提出使用任一高頻濾波器來處理一像素周圍之區塊且選擇具有較低高頻能量的一個像素。最終，若所有像素皆具有高的高頻能量，則不選擇任何像素。此實施例可係實施例3之一替代或互補實施例。
圖11顯示根據本原理之一實施例之利用高頻能量之一融合處理程序。在步驟1105處，將p1 、p2 (與p相同之影像位置)輸入至處理程序1100。在步驟1110處，計算p1 及p2 周圍在其相應所合成影像中之高頻能量(亦即，找到高頻能量1及高頻能量2)。在步驟1115處，判定|高頻能量1-高頻能量2|>高頻能量臨限值與否。若大於，則將控制傳遞至一步驟1120。否則，將控制傳遞至一步驟1125。
在步驟1120處，將其周圍具有較小高頻能量之一者(p1 或p2 )挑選為p 。在步驟1125處，舉例而言，使用方程式(6)對p1 及p2 求平均。
後置處理：孔填充
所融合所合成影像中之某些像素可能仍係孔。解決此等孔之最簡單方法係檢驗作為該等孔的邊界之像素且使用某些像素來填充該等孔。然而，可應用任一現有孔填充方案。
因此，概言之，在至少一項實施方案中提出：(1)僅將潑濺應用於邊界層周圍之像素；及(2)藉助Z緩衝使用孔分佈或反向合成誤差之兩個融合方案。對於彼等試探式解決方案及實施方案，可存在許多潛在變型。
此等變型中之某些因其與本文中所述之各種實施例相關而如下。然而，應瞭解，在給定本文中提供之本原理之教示之情形下，熟習此項技術及相關技術者將設想出本原理之此等及其他變型，同時維持本原理之精神。
在對實施例1之闡述期間，使用經調整之視圖融合之實例。沒任何事物防止將相同邊界層潑濺方案應用於未經調整之視圖。在此情形下，通常將每一經扭曲像素貼圖至其四個鄰近目標像素。在實施例1之情形下，對於非邊界部分中之每一經扭曲像素，可僅將其貼圖至一個或兩個最近鄰近目標像素或給予其他鄰近目標像素較小加權。
在實施例2及實施例3中，使用p1 及p2 周圍之孔數目或p1 及p2 周圍之反向合成誤差係來幫助選擇其中之一者作為融合影像中像素p 之最終值。可將此二進制加權方案(0或1)擴展至非二進制加權。在實施例2之情形下，若像素在其周圍具有更多孔，則可給予較小權重(替代如在圖8中之0)。類似地，對於圖3，若像素之鄰域具有一較高反向合成誤差，則給予較小權重(替代如圖9中之0)。
在實施例2及實施例3中，若候選像素p1 及p2 不足夠良好，則可完全捨棄而未在p 之計算中使用。可使用不同準則來決定一候選像素是否良好，如孔數目、反向合成誤差或因數之一組合。其在使用多於2個參考視圖時同樣適用。
在實施例2、實施例3及實施例4中，假定兩個參考視圖。由於正在比較孔數目、所合成影像中之反向合成誤差或來自每一參考視圖之高頻能量，因此可將此等實施例容易地擴展為涉及與任一數目之參考視圖之比較。在此情形下，一非二進制加權方案可更好地服務。
在實施例2中，使用一候選像素之一鄰域中之孔數目來判定其在摻和處理程序中之用法。除孔數目外，可考量孔大小、其密度等等。一般而言，可使用基於候選像素之一鄰域中之孔的任一量度，同時維持本原理之精神。
在實施例2及實施例3中，使用孔計數及反向合成誤差作為量度來評價每一候選像素之鄰域中之深度貼圖之雜訊度。理論基礎係其鄰域中之深度貼圖帶越多雜訊，候選像素越不可靠。一般而言，可使用任一量度來導出對深度貼圖之局部雜訊度之一估計，同時維持本原理之精神。
因此，已闡述了各種實施方案。此等實施方案中之一者或多者評價來自一第一經扭曲參考視圖之一第一候選像素及來自一第二經扭曲參考視圖之一第二候選像素。該評價係基於下列項目至少一者：該第一候選像素及該第二候選像素之一品質之一反向合成處理程序；該第一候選像素及該第二候選像素周圍之一孔分佈；或基於該第一候選像素及該第二候選像素周圍高於一規定頻率之一能量。該評價作為將至少該第一經扭曲參考視圖及第二經扭曲參考視圖融合成一經信號合成的視圖之部分發生。舉例而言，可基於孔分佈、高頻能量含量及/或一所反向合成視圖與一所輸入參考視圖之間的一誤差(例如，參見圖10之環節1055)來指示品質。亦可(另一選擇為或另外)藉由兩個不同參考視圖之此等誤差之一比較及/或此等誤差(或此等誤差之間的一差)與一個或多個臨限值之一比較來指示品質。此外，各種實施方案亦係基於該評價來判定單個所合成視圖中之一給定目標像素之一結果。舉例而言，此一結果可判定該給定目標像素之一值或將該給定目標像素標記為一孔。
鑒於以上所述，前述內容僅圖解說明本發明之原理，且因此應瞭解，熟習此項技術者將能夠構想出許多替代配置，雖然本文中未明確闡述該等替代配置，但其體現本發明之原理且在本原理之精神及範疇內。因此提供具有特定特徵及態樣之一或多項實施方案。然而，所述實施方案之特徵及態樣亦可適於其他實施方案。因此，雖然可在一特定背景中闡述本文中所述之實施方案，但決不應將此等闡述視為將該等特徵及概念限於此等實施方案或背景。
在本說明書中提及本原理之「一項實施例」或「一實施例」或「一項實施方案」或「一實施方案」以及其其他變型意指結合該實施例所述之一特定特徵、結構、特性等等包含於本原理之至少一項實施例中。因此，片語「在一項實施例中」或「在一實施例中」或「在一項實施方案中」或「在一實施方案中」之出現以及出現於本說明書之通篇各個位置中之任何其他變型未必全部係指相同實施例。
應瞭解，使用如下「/」、「及/或」及「...中之至少一者」中之任一者(例如，在「A/B」、「A及/或B」及「A及B中之至少一者」之情形下)意欲涵蓋僅選擇第一所列舉之選項(A)，或僅選擇第二所列舉之選項(B)，或選擇選項(A及B)兩者。作為一進一步實例，在「A、B及/或C」及「A、B及C中之至少一者」之情形下，此片語意欲涵蓋僅選擇第一所列舉之選項(A)，或僅選擇第二所列舉之選項(B)，或僅選擇第三所列舉之選項(C)，或僅選擇第一所列舉之選項及第二所列舉之選項(A及B)，或僅選擇第一所列舉之選項及第三所列舉之選項(A及C)，或僅選擇第二所列舉之選項及第三所列舉之選項(B及C)，或選擇所有三個選項(A及B及C)。如熟習此項技術及相關技術者容易顯而易見，此可擴展至許多所列舉之項目。
實施方案可係使用多種技術來傳訊資訊，該等技術包含但不限於，頻帶內資訊、頻帶外資訊、資料流資料、隱式傳訊及顯式傳訊。對於各種實施方案及/或標準，頻帶內資訊及顯式傳訊可包含片頭、SEI訊息、其他高級語法及非高級語法。因此，雖然可在一特定背景中闡述本文中所述之實施方案，但決不應將此等闡述視為將該等特徵及概念限於此等實施方案或背景。
本發明中所述之實施方案及特徵可用於MPEG-4 AVC標準、或具有MVC擴展之MPEG-4 AVC標準或具有SVC擴展之MPEG-4 AVC標準之背景中。然而，此等實施方案及特徵可用於另一標準/或建議(現有或將來)之背景中或用於不涉及一標準及/或建議之一背景中。
舉例而言，本文中所述之實施方案可以一方法或一處理程序、一設備、一軟體程式、一資料流或一信號方式實施。即使僅在一信號形式之實施方案之背景中論述(例如，僅論述為一方法)，所論述特徵之實施方案亦可以其他形式(例如，一設備或程式)實施。舉例而言，一設備可在適當硬體、軟體及韌體中實施。舉例而言，該等方法可在(諸如例如)一處理器之一設備中實施，該設備係指處理裝置，一般而言包含(例如)一電腦、一微處理器、一積體電路或一可程式化邏輯裝置。處理器亦包含通信裝置，諸如例如，電腦、行動電話、可攜式/個人數位助理(「PDA」)及促進終端使用者之間的資訊通信之其他裝置。
本文中所述之各種處理程序及特徵之實施方案可體現於多種不同裝備或應用中，尤其(例如)與資料編碼及解碼相關聯之裝備及應用。此裝備之實例包含一編碼器、一解碼器、處理來自一解碼器之輸出的一後置處理器、將輸入提供至一編碼器的一預處理器、一視訊編碼器、一視訊解碼器、一視訊編解碼器、一網頁伺服器、一視訊轉換器、一膝上型電腦、一個人電腦、一行動電話、一PDA及其他通信裝置。應清楚，該設備可係行動設備或甚至安裝於一行動車輛中。
另外，該等方法可藉由由一處理器執行之指令實施，且此等指令(及/或由一實施方案產生之資料值)可儲存於一處理器可讀媒體上，諸如例如，一積體電路、一軟體載波或(諸如例如)一硬碟、一壓縮磁片、一隨機存取記憶體(「RAM」)或一唯讀記憶體(「ROM」)等其他儲存裝置。該等指令可形成有形地體現於一處理器可讀媒體上之一應用程式。舉例而言，指令可係呈硬體、韌體、軟體或一組合之形式。舉例而言，指令可在一作業系統、一單獨應用或該兩者之一組合中找到。因此，舉例而言，一處理器可表徵為經組態以執行一處理程序之一裝置及包含具有用於執行一處理程序之指令之一處理器可讀媒體(例如，一儲存裝置)之一裝置兩者。此外，除指令外或代替指令，一處理器可讀媒體可儲存由一實施方案產生之資料值。
熟習此項技術者將明瞭，實施方案可產生多種經格式化以攜載可(例如)儲存或傳輸之資訊之信號。舉例而言，該資訊可包含用於執行一方法之指令或由所述實施方案中之一者產生之資料。舉例而言，一信號可經格式化以攜載為經資料摻和或融合之經扭曲參考視圖或用於摻和或融合經扭曲參考視圖之一演算法。舉例而言，此一信號可格式化為一電磁波(例如，使用頻譜之一射頻部分)或格式化為一基帶信號。舉例而言，該格式化可包含對一資料流進行編碼及藉助該經編碼之資料流調變一載波。舉例而言，該信號攜載之資訊可係類比資訊或數位資訊。已知該信號可經由多種不同有線鏈路或無線鏈路傳輸。該信號可儲存於一處理器可讀媒體上。
已闡述許多實施方案。然而，應理解可做出各種修改。舉例而言，可組合、補充、修改或移除不同實施方案之元件以產生其他實施方案。另外，熟習此項技術者將理解，其他結構及處理程序可替代所揭示之彼等結構及處理程序且所得實施方案將以至少大致相同之方式執行至少大致相同之功能以達成與所揭示之實施方案至少大致相同之結果。因此，此等及其他實施方案由此應用涵蓋且在如下申請專利範圍之範疇內。
100．．．未經調整之視圖合成
150．．．經調整之視圖合成
210-1．．．前向扭曲器
210-K．．．前向扭曲器
215-1．．．影像合成器
215-K．．．影像合成器
220．．．視圖融合器
230．．．孔填充器
255．．．潑濺器
260．．．評估器
265．．．孔標記器
300．．．視訊傳輸系統
310．．．編碼器
320．．．傳輸器
400．．．視訊接收系統
410．．．接收器/解調變器
420．．．解碼器
500．．．視訊處理裝置/系統
505．．．前端裝置
510．．．解碼器
520．．．資料信號
530．．．經解碼視訊信號/經解碼視訊
550．．．選擇器
560．．．使用者介面
570．．．使用者輸入
580．．．圖像選擇信號/圖像選擇資訊
590．．．輸出/經解碼視圖
600．．．系統
610．．．傳輸器側
611．．．立體相機
612．．．深度相機
613．．．多相機設置
614．．．二維/三維轉換處理程序
620．．．三維內容產生器
630．．．網路
640．．．接收器側
650．．．基於深度影像之再現器
661．．．二維顯示器
662．．．M視圖三維顯示器
663．．．頭部追蹤式立體顯示器
圖1A係未經調整之視圖合成之一實施方案之一圖示；
圖1B係經調整之視圖合成之一實施方案之一圖示；
圖2A係一視圖合成器之一實施方案之一圖示；
圖2B係一影像合成器之一實施方案之一圖示；
圖3係一視訊傳輸系統之一實施方案之一圖示；
圖4係一視訊接收系統之一實施方案之一圖示；
圖5係一視訊處理裝置之一實施方案之一圖示；
圖6係用於傳輸及接收具有深度資訊之多視圖視訊之一系統之一實施方案之一圖示；
圖7係一視圖合成及融合處理程序之一實施方案之一圖示；
圖8係利用深度、孔分佈及相機參數之一融合處理程序之一實施方案之一圖示；
圖9係利用深度、反向合成誤差及相機參數之一融合處理程序之一實施方案之一圖示；
圖10係利用深度、反向合成誤差及相機參數之一融合處理程序之另一實施方案之一圖示；及
圖11係利用高頻能量之一融合處理程序之一實施方案之一圖示。
(無元件符號說明)

Claims (17)

  1. 一種用於視圖合成之方法，其包括：基於下列項目之至少一者評價來自一第一經扭曲參考視圖之一第一候選像素及來自一第二經扭曲參考視圖之一第二候選像素：該第一候選像素及該第二候選像素之一品質之一反向合成處理程序；該第一候選像素及該第二候選像素周圍之一孔分佈；或基於該第一候選像素及該第二候選像素周圍高於一規定頻率之一能量之量，該評價作為將至少該第一經扭曲參考視圖及第二經扭曲參考視圖融合成一單一合成視圖之部分發生；及基於該評價來判定該單一合成視圖中之一給定目標像素之一結果。
  2. 如請求項1之方法，其中判定該結果包括判定該給定目標像素之一值。
  3. 如請求項1之方法，其中判定該結果包括判定該給定目標像素係一孔。
  4. 如請求項2之方法，其中該孔分佈包括指示該第一候選像素周圍之一孔數目之一第一孔計數及指示該第二候選像素周圍之一孔數目之一第二孔計數，且其中判定該給定目標像素之該值包括自該第一孔計數及該第二孔計數中選擇該第一候選像素或該第二候選像素中具有一最低孔計數值之一者作為該給定目標像素之該值。
  5. 如請求項4之方法，其中僅當該第一孔計數與該第二孔計數之間的一差大於一預定臨限差時，才執行選擇該第 一候選像素或該第二候選像素中具有該最低孔計數值之一者作為該給定目標像素之該值。
  6. 如請求項2之方法，其中該孔分佈進一步包括該第一候選像素及該第二候選像素周圍之諸孔之位置，且其中判定該給定目標像素之該值包括選擇作為該給定目標像素之該值，或將一較高加權因數指派給該第一候選像素或該第二候選像素中具有大多數主要位於其一給定側上之該等孔之任一者。
  7. 如請求項4之方法，其中當該第一孔計數及該第二孔計數兩者皆高於一預定臨限值孔計數值時，捨棄該第一候選像素及該第二候選像素兩者而未在判定該給定目標像素之該值中使用。
  8. 如請求項2之方法，其中該反向合成處理程序包括：重新合成該第一參考視圖及該第二參考視圖以分別提供一所重新合成之第一經扭曲參考視圖及一所重新合成之第二經扭曲參考視圖；計算該所重新合成之第一參考視圖與自其獲得該第一經扭曲參考視圖之一第一參考視圖之間的一第一差；計算該所重新合成之第二參考視圖與自其獲得該第二經扭曲參考視圖之一第二參考視圖之間的一第二差；針對應用於該第一候選像素周圍之一鄰域之該第一差計算一第一總和；針對應用於該第二候選像素周圍之一鄰域之該第二差計算一第二總和；及 該方法進一步包括基於該第一總和及該第二總和中之至少一者判定該給定目標像素之一值。
  9. 如請求項8之方法，其中基於該第一總和及該第二總和中之至少一者判定該給定目標像素之該值包括：選擇如下候選像素作為該給定目標像素之該值：當該第一總和小於該第二總和且該第一總和與該第二總和之間的一差大於一預規定臨限差時，選擇該第一候選像素；當該第二總和小於該第一總和且該第一總和與該第二總和之間的該差大於該預規定臨限差時，選擇該第二候選像素；及當該第一總和與該第二總和之間的該差不大於該預規定臨限差時，對該第一候選像素及該第二候選像素之一值求平均。
  10. 如請求項8之方法，其進一步包括當該第一總和及該第二總和中之至少一者大於一預規定臨限值總和(1080)時捨棄該第一候選像素及該第二候選像素中之至少一者。
  11. 如請求項2之方法，其中該孔分佈包括指示該第一候選像素周圍之一孔數目之一第一孔計數及指示該第二候選像素周圍之一孔數目之一第二孔計數，且其中針對該單一所合成視圖中之該給定目標像素選擇該第一候選像素及該第二候選像素包括：當該第一孔計數及該第二孔計數皆低於一給定臨限值孔計數時，選擇該第一候選像素或該第二候選像素中具有一較低能量之量值之一者。
  12. 如請求項2之方法，其進一步包括捨棄該第一選像素及該第二候選像素中具有高於一給定臨限值之該能量之量之一者。
  13. 如請求項2之方法，其中判定該單一所合成視圖中之該給定目標像素之該值包括：判定該第一候選像素周圍之能量之量以獲得一第一量；判定該第二候選像素周圍之能量之量以獲得一第二量；基於該第一量及該第二量中之至少一者選擇或捨棄該第一候選像素及該第二候選像素中之一者、或組合該等一及第二候選像素。
  14. 如請求項1之方法，其中該反向合成處理程序係基於深度且被應用於該第一候選像素及該第二候選像素以產生用於反向合成之第一及第二參考視圖之像素值以評價該第一及第二候選像素之品質。
  15. 一種用於視圖合成之設備，其包括：評價構件，其用於下列項目至少一者評價來自一第一經扭曲參考視圖之一第一候選像素及來自一第二經扭曲參考視圖之一第二候選像素：該第一候選像素及該第二候選像素之一品質之一反向合成處理程序；該第一候選像素及該第二候選像素周圍之一孔分佈；或基於該第一候選像素及該第二候選像素周圍高於一規定頻率之一能量之量，該評價作為將至少該第一經扭曲參考視圖及第 二經扭曲參考視圖融合成一單一合成視圖之部分發生；及判定構件，其用於基於該評價來判定該單一合成視圖中之一給定目標像素之一結果。
  16. 一種處理器可讀媒體，其中儲存有用於致使一處理器執行至少如下操作之指令：基於下列項目至少一者評價來自一第一經扭曲參考視圖之一第一候選像素及來自一第二經扭曲參考視圖之一第二候選像素：該第一候選像素及該第二候選像素之一品質之一反向合成處理程序；該第一候選像素及該第二候選像素周圍之一孔分佈；或基於該第一候選像素及該第二候選像素周圍高於一規定頻率之一能量之量，該評價作為將至少該第一經扭曲參考視圖及第二經扭曲參考視圖融合成一單一合成視圖之部分發生；及基於該評價來判定該單一合成視圖中之一給定目標像素之一結果。
  17. 一種用於視圖合成之設備，其包括一視圖融合器，該視圖融合器經組態用於：基於下列項目至少一者評價來自一第一經扭曲參考視圖之一第一候選像素及來自一第二經扭曲參考視圖之一第二候選像素：該第一候選像素及該第二候選像素之一品質之一反向合成處理程序；該第一候選像素及該第二候選像素周圍之一孔分佈；或基於該第一候選像素及該第二候選像素周圍高於一規定頻率之一能量之量，該評 價作為將至少該第一經扭曲參考視圖及第二經扭曲參考視圖融合成一單一合成視圖之部分發生；及基於該評價來判定該單一合成視圖中之一給定目標像素之一結果。
TW098129160A 2008-08-29 2009-08-28 具試探式視圖融合之視圖合成 TWI463864B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US9296708P 2008-08-29 2008-08-29
US19261208P 2008-09-19 2008-09-19

Publications (2)

Publication Number Publication Date
TW201029442A TW201029442A (en) 2010-08-01
TWI463864B true TWI463864B (zh) 2014-12-01

Family

ID=41226021

Family Applications (2)

Application Number Title Priority Date Filing Date
TW098129161A TW201023618A (en) 2008-08-29 2009-08-28 View synthesis with boundary-splatting
TW098129160A TWI463864B (zh) 2008-08-29 2009-08-28 具試探式視圖融合之視圖合成

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW098129161A TW201023618A (en) 2008-08-29 2009-08-28 View synthesis with boundary-splatting

Country Status (8)

Country Link
US (2) US20110157229A1 (zh)
EP (2) EP2327224A2 (zh)
JP (2) JP2012501494A (zh)
KR (2) KR20110073474A (zh)
CN (2) CN102138334A (zh)
BR (2) BRPI0916882A2 (zh)
TW (2) TW201023618A (zh)
WO (3) WO2010024938A2 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187589B2 (en) * 2008-12-19 2019-01-22 Saab Ab System and method for mixing a scene with a virtual scenario
JP5249114B2 (ja) * 2009-04-03 2013-07-31 Ｋｄｄｉ株式会社 画像生成装置、方法及びプログラム
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
JP5209121B2 (ja) * 2009-09-18 2013-06-12 株式会社東芝 視差画像生成装置
JP2011151773A (ja) * 2009-12-21 2011-08-04 Canon Inc 映像処理装置及び制御方法
TWI434227B (zh) * 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
CN101895752B (zh) * 2010-07-07 2012-12-19 清华大学 基于图像视觉质量的视频传输方法、***及装置
CN101895753B (zh) * 2010-07-07 2013-01-16 清华大学 基于网络拥塞程度的视频传输方法、***及装置
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US8867823B2 (en) * 2010-12-03 2014-10-21 National University Corporation Nagoya University Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system
WO2012091719A1 (en) 2010-12-30 2012-07-05 Michelin Recherche Et Technique, S.A. Piezoelectric based system and method for determining tire load
US20120262542A1 (en) * 2011-04-15 2012-10-18 Qualcomm Incorporated Devices and methods for warping and hole filling during view synthesis
US8988558B2 (en) 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US9602798B2 (en) * 2011-07-15 2017-03-21 Lg Electronics Inc. Method and apparatus for processing a 3D service
WO2013022401A2 (en) * 2011-08-10 2013-02-14 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for creating a disocclusion map used for coding a three-dimensional video
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
WO2013049388A1 (en) * 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
FR2982448A1 (fr) * 2011-11-07 2013-05-10 Thomson Licensing Procede de traitement d'image stereoscopique comprenant un objet incruste et dispositif correspondant
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
JP5911166B2 (ja) * 2012-01-10 2016-04-27 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
WO2013109261A1 (en) * 2012-01-18 2013-07-25 Intel Corporation Intelligent computational imaging system
TWI478095B (zh) 2012-02-07 2015-03-21 Nat Univ Chung Cheng Check the depth of mismatch and compensation depth error of the perspective synthesis method
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
KR101318552B1 (ko) * 2012-03-12 2013-10-16 가톨릭대학교 산학협력단 3차원 영상에 대한 인지 왜곡을 측정하는 측정 방법
CN102663741B (zh) * 2012-03-22 2014-09-24 侯克杰 对彩色数字图像进行视觉立体感知增强的方法及***
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
CN103716641B (zh) 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
WO2014083752A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 別視点画像生成装置および別視点画像生成方法
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
KR102039741B1 (ko) * 2013-02-15 2019-11-01 한국전자통신연구원 영상 워핑을 위한 장치 및 방법
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
CN104065972B (zh) * 2013-03-21 2018-09-28 乐金电子(中国)研究开发中心有限公司 一种深度图像编码方法、装置及编码器
KR20140122198A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 시점 합성 예측을 이용하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20140375663A1 (en) * 2013-06-24 2014-12-25 Alexander Pfaffe Interleaved tiled rendering of stereoscopic scenes
EP3014579B1 (en) * 2014-04-30 2018-09-26 Intel Corporation System and method of limiting processing by a 3d reconstruction system of an environment in a 3d reconstruction of an event occurring in an event space
TWI517096B (zh) * 2015-01-12 2016-01-11 國立交通大學 用於立體影像合成之逆向深度映射方法
CN104683788B (zh) * 2015-03-16 2017-01-04 四川虹微技术有限公司 基于图像重投影的空洞填充方法
CN107430782B (zh) * 2015-04-23 2021-06-04 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法
KR102465969B1 (ko) * 2015-06-23 2022-11-10 삼성전자주식회사 그래픽스 파이프라인을 수행하는 방법 및 장치
US9773302B2 (en) * 2015-10-08 2017-09-26 Hewlett-Packard Development Company, L.P. Three-dimensional object model tagging
CN105488792B (zh) * 2015-11-26 2017-11-28 浙江科技学院 基于字典学习和机器学习的无参考立体图像质量评价方法
EP3496388A1 (en) 2017-12-05 2019-06-12 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
KR102133090B1 (ko) * 2018-08-28 2020-07-13 한국과학기술원 실시간 3차원 360 영상 복원 방법 및 그 장치
KR102491674B1 (ko) * 2018-11-16 2023-01-26 한국전자통신연구원 가상시점 영상을 생성하는 방법 및 장치
US11528461B2 (en) 2018-11-16 2022-12-13 Electronics And Telecommunications Research Institute Method and apparatus for generating virtual viewpoint image
US11393113B2 (en) 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
US11670039B2 (en) 2019-03-04 2023-06-06 Dolby Laboratories Licensing Corporation Temporal hole filling for depth image based video rendering
KR102192347B1 (ko) * 2019-03-12 2020-12-17 한국과학기술원 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
CN113647110B (zh) * 2019-04-01 2022-11-08 北京字节跳动网络技术有限公司 帧间编码模式中的二分之一像素插值滤波器的指示
US10930054B2 (en) * 2019-06-18 2021-02-23 Intel Corporation Method and system of robust virtual view generation between camera views
CN112291549B (zh) * 2020-09-23 2021-07-09 广西壮族自治区地图院 一种基于dem的光栅地形图立体序列帧图像的获取方法
US11570418B2 (en) 2021-06-17 2023-01-31 Creal Sa Techniques for generating light field data by combining multiple synthesized viewpoints
KR20230103198A (ko) * 2021-12-31 2023-07-07 주식회사 쓰리아이 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3826236B2 (ja) * 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
WO2001063561A1 (en) * 2000-02-25 2001-08-30 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
US7079157B2 (en) * 2000-03-17 2006-07-18 Sun Microsystems, Inc. Matching the edges of multiple overlapping screen images
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US6965379B2 (en) * 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
EP1542167A1 (en) * 2003-12-09 2005-06-15 Koninklijke Philips Electronics N.V. Computer graphics processor and method for rendering 3D scenes on a 3D image display screen
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7364306B2 (en) * 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US7471292B2 (en) * 2005-11-15 2008-12-30 Sharp Laboratories Of America, Inc. Virtual view specification and synthesis in free viewpoint

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eddie Cooke, Peter Kauff, Thomas Sikora, "Multi-view synthesis: A novel view reation approach for free viewpoint video", 2006 *
Serdar Ince, Emin Martinian, Sehoon Yea and Anthony Vetro, "DEPTH ESTIMATION FOR VIEW SYNTHESIS IN MULTIVIEW VIDEO CODING", 2007 *

Also Published As

Publication number Publication date
WO2010024925A1 (en) 2010-03-04
JP5551166B2 (ja) 2014-07-16
JP2012501580A (ja) 2012-01-19
JP2012501494A (ja) 2012-01-19
BRPI0916882A2 (pt) 2016-02-10
EP2321974A1 (en) 2011-05-18
BRPI0916902A2 (pt) 2015-11-24
WO2010024938A3 (en) 2010-07-15
CN102138333B (zh) 2014-09-24
EP2327224A2 (en) 2011-06-01
WO2010024938A2 (en) 2010-03-04
KR20110073474A (ko) 2011-06-29
CN102138334A (zh) 2011-07-27
TW201023618A (en) 2010-06-16
CN102138333A (zh) 2011-07-27
KR20110063778A (ko) 2011-06-14
TW201029442A (en) 2010-08-01
WO2010024919A1 (en) 2010-03-04
US20110148858A1 (en) 2011-06-23
US20110157229A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
TWI463864B (zh) 具試探式視圖融合之視圖合成
US8913105B2 (en) Joint depth estimation
US9569819B2 (en) Coding of depth maps
EP2761878B1 (en) Representation and coding of multi-view images using tapestry encoding
US10158838B2 (en) Methods and arrangements for supporting view synthesis
KR101415147B1 (ko) 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
US9497435B2 (en) Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range
JP2012170067A (ja) トレリス構造を用いてシーンの仮想画像を生成する方法とシステム
EP2803041B1 (en) Method for multi-view mesh texturing and corresponding device
US20120188234A1 (en) Image processing apparatus and method
Rahaman et al. Free view-point video synthesis using Gaussian mixture modelling
Iyer et al. Multiview video coding using depth based 3D warping
WO2013080898A2 (en) Method for generating image for virtual view of scene
Paradiso et al. A novel interpolation method for 3D view synthesis
Rahaman et al. A novel virtual view quality enhancement technique through a learning of synthesised video
Lee et al. Technical Challenges of 3D Video Coding

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees