TW201742435A - 具有用於360度視訊之透鏡失真校正之魚眼呈現 - Google Patents

具有用於360度視訊之透鏡失真校正之魚眼呈現 Download PDF

Info

Publication number
TW201742435A
TW201742435A TW106115402A TW106115402A TW201742435A TW 201742435 A TW201742435 A TW 201742435A TW 106115402 A TW106115402 A TW 106115402A TW 106115402 A TW106115402 A TW 106115402A TW 201742435 A TW201742435 A TW 201742435A
Authority
TW
Taiwan
Prior art keywords
image
video
mapping
dimensional
encoded
Prior art date
Application number
TW106115402A
Other languages
English (en)
Inventor
德 奧維拉 葛特 汎
穆漢麥德 柯本
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201742435A publication Critical patent/TW201742435A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

在各種實施方案中，提供用於校正一魚眼影像中存在之失真，且呈現該影像以用於顯示為360度視訊之系統及方法。在各種實施方案中，一計算器件可接收由一全向攝影機捕捉之2維視訊資料。該計算器件可將來自每一視訊圖框之一影像映射至一3維半球形表示。在各種實施方案中，可使用一多項式模型執行此映射。該3維半球形表示隨後可用於一360度視訊展示中以提供一虛擬實境體驗。

Description

具有用於360度視訊之透鏡失真校正之魚眼呈現
360度視訊可為觀察者提供一種沈浸式體驗。舉例而言，360度視訊可為觀察者提供一種虛擬實境體驗，將該觀察者置於虛擬不同時間及/或場所中。作為另一實例，360度視訊可為觀察者提供由遠端器件(例如，無人操縱之空中載具或其他器件)捕捉之視訊內容之第一人稱視圖。用於捕捉360度視訊之一種方法為使用全向攝影機。全向攝像機可藉由僅幾個透鏡捕捉較寬視場。所得影像展現魚眼效應。 在各種實施方案中，提供用於呈現360度視訊展示之魚眼影像，同時校正魚眼影像中之固有失真的系統、方法及電腦可讀媒體。360度視訊可藉由使用折反射式系統及/或魚眼透鏡之全向攝像機捕捉。此類攝像機可捕捉少至一個或兩個影像中之場景。雖然此等影像可捕捉大量資訊，諸如180度或甚至360度視場，但該場景經壓縮成該影像且因此對於人眼呈現失真。此外，該等影像為2維的，且需要映射至3維表示以便藉由360度視訊系統顯示。 根據至少一個實例，提供用於處理360度視訊資料之方法。該方法包括獲得由全向攝影機捕捉之2維視訊資料。該2維視訊資料可包括場景之影像。在該影像中，場景已變形成該影像之圓形區域。該方法進一步包括將影像映射至3維半球形表示。映射影像可包括將影像之圓形區域中之像素映射至3維半球形表示上之對應位置。映射影像可校正場景之變形。該方法進一步包括將3維半球形表示用於360度視訊展示中。 在另一實例中，提供一種裝置，該裝置包括一記憶體及一經組態以處理360度視訊資料之處理器。該處理器經組態以獲得由全向攝影機捕捉之2維視訊資料且可獲得由全向攝影機捕捉之2維視訊資料。該2維視訊資料可包括場景之影像。在該影像中，場景已變形成該影像之圓形區域。處理器經進一步組態以將該影像映射至3維半球形表示且可將該影像映射至3維半球形表示。映射影像可包括將影像之圓形區域中之像素映射至3維半球形表示上之對應位置。映射影像可校正場景之變形。處理器經進一步組態以將該3維半球形表示用於360度視訊展示中且可將該3維半球形表示用於360度視訊展示中。 在另一實例中，提供在其上儲存有指令之電腦可讀取媒體，在該等指令由一處理器執行時執行一種方法，該方法包括獲得由全向攝影機捕捉之2維視訊資料。該2維視訊資料可包括場景之影像。在該影像中，場景已變形成該影像之圓形區域。該方法進一步包括將影像映射至3維半球形表示。映射影像可包括將影像之圓形區域中之像素映射至3維半球形表示上之對應位置。映射影像可校正場景之變形。該方法進一步包括將3維半球形表示用於360度視訊展示中。 在另一實例中，提供一種裝置，該裝置包括用於獲得由全向攝影機捕捉之2維視訊資料之構件。該2維視訊資料可包括場景之影像。在該影像中，場景已變形成該影像之圓形區域。該裝置進一步包括用於將影像映射至3維半球形表示之構件。映射影像可包括將影像之圓形區域中之像素映射至3維半球形表示上之對應位置。映射影像可校正場景之變形。該等裝置進一步包括用於將3維半球形表示用於360度視訊展示中之構件。 在一些態樣中，映射影像包括使用多項式方程式將影像中之點投影至3維半球形表示上之對應點。該影像中之該點可提供將映射至3維半球形表示上之該點的像素。 在一些態樣中，變形為非線性的。在此等態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含判定2維影像中之像素之座標。可使用經調整之徑向值判定該等座標，其中該經調整之徑向值對應於變形之非線性度。此等態樣進一步包括將該等標準化座標用於映射中。 在一些態樣中，影像包括大於180度之視場。在此等態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含調整2維影像中之像素之座標，其中使用已根據視場按比例調整之徑向值來調整該等座標。此等態樣進一步包括將該等經調整之座標用於映射中。 在一些態樣中，影像包括至少180度之視場。 在一些態樣中，全向攝影機包括魚眼透鏡。 在一些態樣中，視訊資料係自經編碼之位元串流獲得，其中該經編碼之位元串流包括描述該變形之一或多個參數。在此等態樣中，映射影像包括使用該一或多個參數。在一些態樣中，該一或多個參數經編碼於經編碼位元串流中之一補充增強資訊(SEI)訊息中。在一些態樣中，該經編碼之位元串流包括於根據ISO基本媒體檔案格式而格式化之檔案中，且其中該一或多個參數以該檔案中之結構來編碼。在一些態樣中，該一或多個參數包括多項式階、多項式係數、多項式縮放參數或映射縮放參數中之至少一或多者。 在一些態樣中，諸如上文所描述之裝置可包括行動器件。在一些實施方案中，行動器件包括全向攝影機。在一些實施方案中，行動器件包括用於顯示360度視訊展示之顯示器。 此發明內容並不意欲識別所主張標的物之關鍵或基本特徵，亦不意欲單獨用以判定所主張標的物之範疇。應參考此專利之整個說明書之適當部分、任何或全部圖式及每一請求項來理解標的物。 在參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
下文提供本發明之某些態樣及實施例。此等態樣及實施例中之一些可被獨立地應用且其中之一些可以將對熟習此項技術者顯而易見之組合來加以應用。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本發明之實施例之透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將為顯而易見的。圖式及描述不意欲為限定性的。 隨後描述僅提供例示性實施例，且並不意欲限制本發明之範疇、適用性或組態。確切而言，例示性實施例之隨後描述將為熟習此項技術者提供能夠實施例示性實施例之描述。應理解，可在不背離如所附申請專利範圍中所闡述之本發明之精神及範疇的情況下對元件之功能及配置做出各種改變。 在以下描述中給出特定細節以提供對實施例之透徹理解。然而，一般熟習此項技術者中之一者應理解，實施例可在無需此等具體細節之情況下實踐。舉例而言，電路、系統、網路、處理程序及其他組件可在方塊圖形式中展示為組件以便在不必要細節下不與實施例混淆。在其他情況下，可在無不必要細節之情況下展示熟知電路、處理程序、演算法、結構及技術以便避免混淆實施例。 另外，應注意，個別實施例可描述為被描繪為流程圖、流圖、資料流圖、結構圖或方塊圖之處理程序。儘管流程圖可將操作描述為順序處理程序，但許多操作可並行地或同時執行。另外，可重新配置操作之次序。處理程序在其操作完成時終止，但可具有不包括於圖中之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式等。當處理程序對應於函式時，其終止可對應於函式傳回至主叫函式或主函式。 術語「電腦可讀媒體」包括但不限於攜帶型或非攜帶型儲存器件、光學儲存器件及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體，非暫時性媒體中可儲存資料且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、諸如緊密光碟(CD)或數位化通用光碟(DVD)之光學儲存媒體、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可具有儲存於其上之碼及/或機器可執行指令，該等碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模塊、軟體封包、種類或指令、資料結構或程式語句之任何組合。一個碼段可藉由傳遞及/或接收資訊、資料、論證、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何合適方式傳遞、轉發或傳輸。 此外，可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合實施實施例。當以軟體、韌體、中間軟體或微碼加以實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。 虛擬實境描述可以似乎真實或實體方式相互作用之三維環境。在一些情況下，體驗虛擬實境環境之使用者使用諸如頭戴式顯示器(HMD)及亦視情況選用之衣物(例如，配備有感測器之手套)的電子裝備以與虛擬環境相互作用。隨著使用者在真實世界中移動，在虛擬環境中呈現之影像亦改變，從而給予使用者其正在虛擬環境內移動之感知。在一些情況下，虛擬環境包括與使用者之移動相關之聲音，從而給予使用者聲音來源於特定方向或來源之視聽。虛擬實境視訊可以極高品質被捕捉且呈現，從而潛在地提供真實沈浸式虛擬實境體驗。虛擬實境應用包括遊戲、訓練、教育、體育視訊及線上購物以及其他者。 360度視訊為經捕捉以在虛擬實境環境中顯示之視訊。在一些應用中，來自真實世界之視訊可用於虛擬實境環境之展示中，相對於電腦產生之圖形，諸如可在遊戲及虛擬世界中找到。在此等申請案中，使用者可以與使用者可體驗其存在位置之相同方式體驗另一位置。舉例而言，使用者可在使用定位於舊金山(San Francisco)中之360度視訊系統時體驗柏林(Berlin)之步行旅行。 360度視訊系統通常包括視訊捕捉器件及視訊顯示器件，且可能亦包括諸如伺服器、資料儲存器及資料傳輸裝備之其他中間器件。視訊捕捉器件可包括攝影機集合，即多個攝影機之集合，每一攝影機定向於不同方向且捕捉不同視圖。在一些應用中，六個攝影機可用以捕捉以攝影機集合之位置為中心的全360度視圖。一些視訊捕捉器件可使用較少攝像機，諸如主要捕捉側至側視圖或使用具有寬視場之透鏡的視訊捕捉器件。視訊大體包括圖框，其中圖框為場景之電子寫碼靜態影像。攝影機每秒捕捉某數目個圖框，其通常被稱作攝影機之圖框速率。 在一些情況下，為獲得無縫360度視圖，可對由攝影機集合中之攝像機中之每一者捕捉之視訊執行影像縫合。在360度視訊產生之情況下的影像縫合涉及組合或合併來自視訊圖框重疊或將以其他方式連接所在之區域中的鄰接攝影機之視訊圖框。結果將為大體球形圖框，但類似於麥卡托投影(Mercator projection)，經合併之資料通常以平面方式表示。舉例而言，合併視訊圖框中之像素可經映射至立方體形狀或一些其他三維平面形狀(例如，角錐形、八面體、十面體等)之平面上。視訊捕捉及視訊顯示器件可以意謂將視訊圖框處理為像素之柵格之光柵原理操作，在此情況下，正方形平面、矩形平面或其他合適成形之平面可用於表示球狀環境。 映射至平面表示之360度視訊圖框可經編碼及/或壓縮以供儲存及/或傳輸。編碼及/或壓縮可使用視訊編解碼器(例如，H.265/HEVC順應式編解碼器、H.264/AVC順應式編解碼器或其他合適之編解碼器)完成且產生經壓縮視訊位元串流(或經編碼視訊位元串流)或位元串流組。下文進一步詳細地描述使用視訊寫解碼器對視訊資料進行編碼。 在一些實施方案中，該等經編碼視訊位元串流可儲存及/或囊封於媒體格式或檔案格式中。該等所儲存位元串流可例如經由網路傳輸至接收器器件，該接收器器件可解碼且呈現視訊以供顯示。此接收器器件在本文中可被稱作視訊顯示器件。舉例而言，360度視訊系統可自經編碼視訊資料產生經囊封檔案(例如，使用國際標準組織(ISO)基本媒體檔案格式及/或衍生之檔案格式)。舉例而言，視訊編解碼器可編碼視訊資料，且囊封引擎可藉由將視訊資料囊封於一或多個ISO格式媒體檔案中而產生媒體檔案。替代地或另外，所儲存之位元串流可直接自儲存媒體提供至接收器器件。 接收器器件亦可實施編解碼器以解碼及/或解壓縮經編碼視訊位元串流。在經編碼視訊位元串流儲存及/或囊封於媒體格式或檔案格式中之情況下，接收器器件可支援用以將視訊位元串流封裝入檔案中的媒體或檔案格式，且可提取視訊(及亦可能音訊)資料以產生經編碼視訊資料。舉例而言，接收器器件用經囊封視訊資料剖析媒體檔案以產生經編碼視訊資料，且接收器器件中之編解碼器可解碼經編碼視訊資料。 接收器器件隨後可將經解碼視訊信號傳送至呈現器件(例如，視訊顯示器件、播放器器件，或其他合適之呈現器件)。呈現器件包括例如頭戴式顯示器、虛擬實境電視機及其他180度或360度顯示器件。大體而言，頭戴式顯示器能夠追蹤穿戴者之頭部之移動及/或穿戴者之眼睛的移動。頭戴式顯示器可使用追蹤資訊以呈現對應於穿戴者正觀察之方向的360度視訊之部分，使得穿戴者以其將體驗真實世界之相同方式體驗虛擬環境。呈現器件可以捕捉視訊之相同圖框速率或以不同圖框速率呈現視訊。 用於捕捉360度視訊之攝影機集合可包括各種全向攝像機、折反射式攝像機(使用透鏡及弧形反射鏡之攝影機)，及/或配備有魚眼透鏡之攝像機。全向攝影機之一個實例為使用在相對方向上聚焦之兩個魚眼透鏡的Ricoh θ-S。 全向攝像機(諸如折反射式攝像機及具有魚眼透鏡之攝像機)通常捕捉具有大量失真之影像。圖1示出使用魚眼透鏡捕捉之圖像100之實例。魚眼透鏡為可具有高至180度或更大之視場的廣角透鏡。配備有兩個此類透鏡之背對背置放之攝影機可因此捕捉一起提供360度視圖(或更大)之兩個影像。 然而，實現此寬視場之透鏡之極端曲率亦使得影像變失真。如圖1之實例中所示，在圖像100中捕捉之場景102在形狀上為圓形，且根據該等透鏡之曲率變形。由於攝影機感測器通常為矩形，所以圖像100為矩形且無像素經捕捉之角104通常為空白或黑色。在此實例中，已裁剪場景102之頂部及底部。可因各種原因裁剪場景102之頂部及底部。在一個說明性實例中，由於透鏡之形狀及/或攝影機感測器之形狀，可裁剪場景102之頂部及底部。 實例影像100捕捉大量資訊，在此情況下，180度視場。其他影像可捕捉超過180度，諸如270度視圖。然而，場景102之失真並不為觀察者提供極逼真的展示。另外，影像100為3維場景之平坦、2維表示。為展示為360度視訊，影像100需要經映射至球狀、3維(3-D)表示。 在各種實施方案中，提供用於校正魚眼影像中存在之失真，且呈現用於顯示為360度視訊之影像之系統及方法。在各種實施方案中，計算器件可接收由全向攝影機捕捉之2維視訊資料。該計算器件可將來自每一視訊圖框之圖像映射至3維半球形表示。在各種實施方案中，可使用多項式模型執行此映射。3維半球形表示隨後可用於360度視訊展示中以提供虛擬實境體驗。 圖2A及圖2B示出本文所論述之技術之實例應用。圖2A之實例示出可由全向攝影機捕捉之影像200。如上文所討論，影像200在形狀上為矩形，其中該矩形形狀對應於攝影機之影像捕捉感測器之大小及形狀。影像200包括圓形區域202，該圓形區域包括捕捉場景之像素。其中影像200之無像素經捕捉之角204可保持空白或可包括黑色像素(例如，具有0或255之像素值)。 在圓形區域202中捕捉之像素包括某一視場，其中該視場藉由透鏡及/或攝影機決定。舉例而言，視攝影機之透鏡、反射鏡及/或感測器之結構而定，圓形區域202可包括90度視場、180度視場、270度視場，或一些其他度之視場。為將視場擬合於影像200中，以線性或非線性方式將該等像素變形成圓形區域202，如下文進一步論述。 在各種實施方案中，下文所描述之技術將圓形區域202中之像素映射至半球形表示210，其實例展示於圖2B中。半球形表示210隨後可用於使用虛擬實境呈現器件向觀察者展示影像200。半球形表示210可為球體之一半(其表示180度視圖)、小於球體之一半(例如，在影像200捕捉小於180度之視圖時)，或大於球體之一半(例如，在影像200捕捉超過180度之視圖時)。 在各種實施方案中，下文所論述之技術具有將圓形區域202中之像素拉伸成半球形形狀之效應。舉例而言，圓形區域202之中心202可對應於半球形表示210之中心222或頂點。作為另一實例，圓形區域202之最頂部點214a可對應於半球形表示210之最頂部點224a (例如北極)，且圓形區域202之最底部點214b可對應於半球形表示210之最底部點224b (例如南極)。類似地，圓形區域202之最右端214c及最左端214d可對應於在此實例中半球形表示210之最右端224c及不可見的最左端224d。在圓形區域202之中心212與邊緣之間的像素可進一步均勻分佈於半球形表示210之表面上方。 所得半球形表示210可用於將平坦影像200展示在360度顯示器中。圖3示出半球形表示310之實例用途。使用360度顯示器件，可呈現半球形表示310以使得給予觀察者320其在由半球形表示310捕捉之像素所表示的場景之內部的視聽。在一些情況下，半球形表示310之頂點可定向在觀察者之視場之中心處。在各種實施方案中，可針對將在觀察者320後面之視圖提供額外半球形表示。 存在各種類型之魚眼透鏡，該等魚眼透鏡中之每一者以不同方式將廣角視場映射至影像平面。一個實例為角魚眼透鏡，其亦稱作f-θ透鏡。在角魚眼透鏡下，距影像之中心之距離與攝影機視圖方向之角度成比例。因此，解析度在整個影像中大致相等。角魚眼透鏡可用於一直至全360度之角。 圖4示出180度角魚眼透鏡420之橫截面之實例，及用於該等透鏡420之對應影像平面402。該圖示描繪自與透鏡之影像平面402垂直的側面觀察之透鏡420。經示出之視圖亦可為透鏡420之俯視圖，或距與該等透鏡之影像平面402垂直之任何其他角度的視圖，然而出於此實例之目的，將假定圖4示出側視圖。在圖4之左側示出該等透鏡之影像平面402的正視圖。 角透鏡之構造為使得，對於距零之任一角度(其中零為透鏡420之中心) (其亦視為攝影機位置406)，在彼角度處捕捉之空間中之點線性對應於影像平面402中之點ρ。亦即，在例如α = 距零之45度，進入透鏡420之光將在影像平面402之中心與影像平面402之頂部的中間的點處經捕捉。影像平面402之頂部對應於α = 90度乘以縮放或放大因數。類似地，在α = 距零之22.5度處，進入該等透鏡之光將在ρ =零與在45度捕捉之像素的中間的影像平面402中經捕捉，且在距零之67.5度處，光將在45度與影像平面402之頂部的中間的影像平面402中經捕捉。由於假定在此實例中自側面觀察到透鏡420，所以距影像平面402之中心的距離ρ將僅在垂直方向上改變。 可將由圖4之實例透鏡420產生之影像平面402映射至半球形，其中該半球形可展示於使用3維網格之計算器件中。舉例而言，可使用圖形處理單元(GPU)呈現來自影像平面402之圓形影像。將影像映射至半球形可矯正透鏡420產生之自然失真。在下文進一步論述用於此映射之技術。 其他類型之魚眼透鏡產生自該等透鏡之中心至影像之外邊緣的非線性失真。圖5示出半球形魚眼透鏡520之實例。透鏡520之側視圖示出於圖式之右側，且用於該等透鏡之影像平面502之正視圖示出於圖式之左側。 半球形透鏡產生半球體至影像平面502上之平行投影。在此實例及其他實例中，影像變得徑向壓縮，且朝向透鏡之外邊緣發生更多壓縮。亦即，在角度α自零增加時，其中零為透鏡520之中心(其亦被視為攝影機位置506)，在影像平面502中捕捉之影像變得以非線性方式逐漸經壓縮。由此等類型之透鏡捕捉之影像需要校正失真之非線性度。 在各種實施方案中，下文所論述之技術可用於校正魚眼投影可引入至經捕捉影像之非線性失真。在各種實施方案中，此等技術包括使用採用多項式模型之全向攝影機校準技術。全向攝影機校準技術論述於Davide Scaramuzza等人，「A Flexible Technique for Accurate Omnidirectional Camera Calibration and Structure from Motion」中，其以全文引用之方式併入本文中。在全向攝影機(包括折反射式及折射攝像機)已根據此技術經校準後，可針對由攝影機之感測器捕捉之每一像素判定真實世界中之點。 圖6A示出可由全向攝影機捕捉之影像602之實例。如上文所論述，影像602可具有魚眼失真，其中在該影像中捕捉之場景已變形成圓形形狀。出於將影像602映射至半球形表示610之目的，該影像之水平軸線已標記為u 且垂直軸線已標記為v 。對於水平及垂直維度兩者，零位於影像602之中心處。在此實例中，ρ經定義為沿藉由影像602所形成之圓形之半徑的點。此點604可具有座標(u ,v )。 圖6B示出在影像602中所捕捉之場景將映射至的半球形表示610之實例。出於此映射之目的，已界定正交X軸及Y軸。在各種實施方案中，X軸可對應於(例如)真實世界中之上及下，且Y軸可對應於左及右。 Z軸已經界定為與攝影機之影像感測器垂直。可使用座標(x,y,z)描述在半球形表示610之表面上的點614。點614亦可具有描述在X軸與Y軸之間的點之旋轉的對應角度值Φ。點614亦可具有角度值r，該角度值描述在Z軸與由X軸及Y軸所形成之平面之間的點之旋轉。 在各種實施方案中，上文所提及之全向攝影機校準方法使用以下多項式以使影像602中之點604之位置(u ,v )與相對於感測器軸線(亦即，相對於圖6B中所示之Z軸)之點614相關：在以上方程式中，係數a i (i = 0、1、2、…、N)，且多項式冪N為藉由校準判定之模型參數，且如上文所論述之ρ為距感測器軸線之距離，其可被稱為徑向值。 攝影機校準大體上包括判定特定攝影機之固有參數及非固有參數。攝影機之固有參數包括攝影機之焦距及光學中心。在以上方程式中，係數a i 為描述影像602之形狀的固有參數。非固有參數可包括相對於地面旋轉(例如，傾斜、偏離及/或滾動)之度數，及攝影機之3維真實世界位置(稱作攝影機之「翻譯」)。該等非固有參數大體上自攝影機之感測器的中心量測。攝影機校準大體上涉及判定攝影機之固有及非固有參數。在各種實施方案中，此可以自動化方式，及/或在捕捉校準圖案之影像的輔助下完成。 以上函數f ( ρ ) 假定影像602可均一旋轉，意謂對於自影像602之中心的給定距離，在該距離處之影像602中之全部點捕捉與攝影機感測器等距之空間中的點。此為合理的假定，此係由於攝影機透鏡通常經製造為精確地對稱。該函數因此可用於將圓形魚眼影像602映射至半球形表示610上。如上文所提及，該函數使影像602中之座標與相對於半球形表示610之Z軸的對應點相關。因此，對於半球形表示610上之任一點614，該函數可用於在影像602中找到對應的點604。隨後可自影像602中之點604獲得像素，且將該像素置放於對應點614處之半球形表示610中。 當圖6A中之影像602包括半球形表示610中之點614(具有旋轉座標(r,Φ)之座標(x,y,z))之線性失真(諸如圖4之實例中所描述)時，可使用以下方程式判定對應點604 (在影像平面602中具有座標(u ,v ))：在以上方程式中，u 及v 經標準化，意謂u 及v 各自在0與1之間變化。 可使用函數atan2 判定旋轉座標(r,Φ)。該atan2 函數為具有兩個自變數之反正切函數。對於任何實數自變數x及y均不等於零時，atan2 (y,x)在弧度上返回平面之正向X軸與藉由座標(x,y)給定之平面上之點之間的角度。對於逆時針角而言該角度為正值(例如，平面之上半部分，其中y ＞ 0)，且對於順時針角而言為負值(例如，平面之下半部分，其中y ＜ 0)，使用atan2 ，可按以下計算r及Φ：在以上方程式中，r將介於0至1之範圍內，且Φ將介於0至2π之範圍內。 使用以上方程式，可將影像602之像素映射至半球形表示610。特定言之，對於具有座標(x,y,z)之給定點614，可計算影像602中之具有座標(u ,v )之對應點604。隨後可自影像602中之點604獲得像素且將該像素置放於(x,y,z)處之半球形表示中。 當影像602包括非線性失真(諸如圖5之實例中所描述)時，以下額外及/或替代性計算可用於將影像602 (如圖6A中所示出)映射至半球形表示610。此等方程式可校正非線性失真。在以下論述中，對於包括非線性失真之影像602中之點，u '及v ' (可被稱為經校正標準化座標)將用以描述此等點之座標。 如上文所提及，距影像602之中心之距離ρ非線性地變化。ρ之值可表示為：在以上方程式中，可如上文所描述計算角度值r。 函數f ( ρ ) 可進一步經如下修改：在以上兩個方程式中，k0 及k1 為縮放參數，且ai 為藉由如上文所論述之攝影機校準所判定之係數。函數f ( ρ ) 提供具有座標(x,y,z)之點614至感測器軸線Z上之投影。因此函數f ( ρ ) 之結果提供z座標。 參數k0 將r 縮放成ρ；亦即，k0 根據ρ之非線性變化調整r。參數k0 因此可用以調整用於魚眼影像中之非線性壓縮之多項式方程式，諸如上文關於圖5所論述。參數k0 之值可自r及函數f ( ρ ) 導出。特定言之，可判定k0 以使得，當r = 1時，則f ( ρ ) = 0。如圖6B中所示出，r = 1為影像602將映射至的半球形表示610之極端邊緣。在半球形表示610之邊緣處，z座標為零，因此f ( ρ ) (其提供z座標)亦為零。 參數k1 將f ( ρ ) 縮放成z。用以導出函數f ( ρ ) 之攝影機校準方法假定半球形投影，其中f ( ρ ) ＜ 0。因此，k1 可設定為負值(諸如-1)以使得f ( ρ ) 產生正值。替代地，係數ai 之正負號可改變。替代地，在一些情況下，該正負號改變可包括於下文所論述之公式中。 可使用以下方程式判定影像平面602中之點(u ',v ')之座標：在以上方程式中，u '及v '經標準化，且在0與1之間變化。 對於以上方程式，r'可按以下計算：使用以上方程式，徑向失真-其中影像602隨著距影像之中心之距離增加時經受愈來愈多壓縮-可在將影像映射至半球形表示610時經校正。特定言之，對於半球形表示610上之點614 (x,y,z)，可判定影像中之具有座標(u ',v ')之點。隨後可將點(u ',v ')之像素置放於點614 (x,y,z)處。 在一些情況下，可需要額外的縮放因數。舉例而言，當影像包括大於或小於180度之視場及/或視場之部分已經裁剪時，可引入縮放因數α及β以適應視場及/或裁剪(對於經裁剪魚眼影像之實例，參見圖1)。當視場對稱時，諸如在全部方向上220度，則α及β可相同(例如，兩者等於180/220)。當視場不對稱時，α及/或β可設定為適應不對稱性之值。舉例而言，在圖1之實例中，假定視場為180度，則β可設定為1，且α可設定為180/n，其中n為自影像之中心至圖框之經裁剪上部或下部邊緣的距離。 藉由α及β，可使用以下方程式判定判定影像602中之點(表示為(u '',v ''))的方程式：在以上方程式中，可如上文所論述判定r'。 圖7A及圖7B示出在存在及不存在校正之情況下所呈現之影像之實例。在圖7A之實例中，影像702呈現為由全向攝影機所捕捉，而對於由該攝影機造成之失真無任何校正。如由此實例所示，影像702變形以使得場景中之架構及路徑朝向消失點彎曲，而非直線。 在圖7B之實例中，藉由使用如上文所論述之技術呈現影像710。在此實例影像710中，架構之邊緣及該架構前方之路徑為直線，如其將在真實世界中呈現。為了清楚且易於理解起見，實例影像710在此處示出為2維且在形狀上為矩形。如上文所示出，實例影像710呈現成3維、半球形表示且在此處獲得所示出之校正。 在各種實施方案中，與如上文所論述之多項式模型相關聯之參數中之一些或全部可藉由使用全向攝影機所捕捉之影像資料傳送。此等參數包括多項式係數ai (i = 0、1、2、…、N)、多項式階N、縮放參數k0 、k1 ，及/或縮放參數α及β以及其他者。在與視訊資料包括在一起時，此等參數隨後可用於將視訊圖框中之魚眼影像呈現於半球形表示中，以用於360度視訊展示。在一些實施方案中，該等參數可在視訊捕捉器件處使用以將由攝影機捕捉之2維影像映射至3維表示。3維表示隨後可經編碼用於儲存及/或傳輸。在一些實施方案中，該等2維影像可經編碼用於儲存及/或傳輸，且接收器器件可解碼該等影像且使用該等參數以呈現該等影像用於360度視訊展示。 各種方法可用於傳送該等模型參數。舉例而言，使用位元串流之語法結構可使該等參數包括於視訊位元串流中。舉例而言，可使該等參數包括於一或多個補充增強資訊(SEI)訊息中。作為另一實例，可將該等參數併入至用以儲存360度視訊之檔案格式中。作為另一實例，可將該等參數併入至特定網路協定擴展中。 在各種實施方案中，上文所論述之多項式模型之替代物可用於得到相同的結果。舉例而言，亦可使用替代參數利用多項式模型(諸如分段線性模型)之近似值。 圖8為示出用於將2維魚眼影像映射至3維半球形表示以用於在360度視訊展示中顯示之處理程序800之實例的流程圖。在802處，處理程序800包括獲得由全向攝影機所捕捉之2維視訊資料，其中該2維視訊資料包括場景之影像，且其中在該影像中，該場景已變形成該影像之圓形區域。在一些實施方案中，變形可為徑向線性的；亦即，該影像均一地自圓形區域之中心至外邊緣變形。在一些情況下，變形可為非線性，以使得影像包括比在中心存在更多的朝向圓形區域之外邊緣的壓縮。 在一些實施方案中，視訊資料係自經編碼位元串流獲得。在此等實施方案中，經編碼位元串流可包括描述影像之變形的參數。此等參數可包括例如多項式階、多項式係數、多項式縮放參數，或映射縮放參數以及其他者。在一些實施方案中，該等參數可自經編碼位元串流中之SEI訊息獲得。在一些實施方案中，該等參數可包括於含有經編碼位元串流之檔案中。在此等實施方案中，檔案可包括用於儲存該等參數之資料結構。 在804處，處理程序800包括將影像映射至3維半球形表示，其中映射該影像包括將影像之圓形區域中之像素映射至3維半球形表示上之對應位置，其中映射該影像校正場景之該變形。在一些實施方案中，映射該影像包括使用多項式方程式將影像中之點投影至3維半球形表示上之對應點。影像中之點可提供將映射至3維半球形表示上之點的像素。 在一些實施方案中，影像變形成圓形區域可為非線性的。在此等實施方案中，將影像映射至3維半球形表示可包括使用經調整之徑向值判定2維影像中之像素之座標。經調整之徑向值可對應於變形之非線性度。舉例而言，經調整之徑向值自影像之中心非線性地增加至外邊緣。使用經調整之徑向值判定之座標隨後可用以將影像之像素映射至半球形表示。 在一些實施方案中，影像包括大於180度之視場。在此等實施方案中，處理程序800進一步包括使用已根據視場按比例調整之徑向值調整2維影像中之像素之座標。該等座標隨後可用以將來自影像之像素映射至半球形表示。在一些實施方案中，影像包括180度或更小之視場。 在806處，處理程序包括將3維半球形表示用於360度視訊展示中。舉例而言，可呈現3維半球形表示以用於藉由視訊顯示器件顯示。替代地或另外，3維半球形表示可經編碼用於儲存及/或傳輸，其中該經編碼資料可隨後經解碼且顯示。 在一些實施方案中，處理程序800可在行動器件(諸如，智慧型電話、平板電腦、膝上型電腦、個人數位助理或任何其他種類之可無線連接至網路及/或足夠小且輕以易於運輸之計算器件)中實施。在此等實施方案中，行動器件可包括用於捕捉360度視訊之全向攝影機。在一些實施方案中，行動器件可包括用於顯示360度視訊之顯示器。 在一些實例中，處理程序800可藉由計算器件或裝置(諸如下文相對於圖9所論述之系統)執行。舉例而言，處理程序800可藉由圖9中展示之系統900及/或儲存器908或輸出端910執行。在一些情況下，計算器件或裝置可包括處理器、微處理器、微電腦或經組態以實施圖8之處理程序800之步驟的器件之其他組件。在一些實例中，計算器件或裝置可包括經組態以捕捉包括視訊圖框之視訊資料(例如，視訊序列)的攝影機。舉例而言，計算器件可包括攝影機器件(例如，全向攝影機或其他類型之攝影機器件)，該攝影機器件可包括視訊編解碼器。在一些實例中，捕捉視訊資料之攝影機或其他捕捉器件與計算器件分離，在此情況下，計算器件接收所捕捉視訊資料。計算器件可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料或其他合適類型之資料。 處理程序800經示出為邏輯流程圖，其操作表示可在硬體、電腦指令或其組合中實施的操作之序列。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上之電腦可執行指令，在由一或多個處理器執行時，該等電腦可執行指令執行所敍述操作。一般而言，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或與同時實施處理程序組合。 另外，處理程序800可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可被實施為共同在一或多個處理器上藉由硬體或其組合執行之程式碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。 圖9為示出包括編碼器件904及解碼器件912之系統900之實例的方塊圖。編碼器件904可為源器件之部分，且解碼器件912可為接收器件之部分。源器件及/或接收器件可包括電子器件，諸如，行動或靜止電話手持機(例如，智慧型電話、蜂巢式電話或類似者)、桌上型電腦、膝上型電腦或筆記本電腦、平板電腦、機上盒、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或任何其他合適之電子器件。在一些實例中，源器件及接收器件可包括用於無線通信之一或多個無線收發器。本文所描述之寫碼技術適用於各種多媒體應用中之視訊寫碼，包括串流視訊傳輸(例如，經由網際網路)、電視廣播或傳輸、編碼數位視訊以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之數位視訊或其他應用。在一些實例中，系統900可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲及/或視訊電話之應用。 藉由使用視訊寫碼標準或協定以產生經編碼視訊位元串流，編碼器件904 (或編碼器)可用以編碼視訊資料，包括虛擬實境視訊資料。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼及多視圖視訊寫碼擴展(分別稱為SVC及MVC)。已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)完成較近期的視訊寫碼標準(高效率視訊寫碼(HEVC))。對HEVC之各種擴展處理多層視訊寫碼，且亦正由JCT-VC開發，包括對HEVC之多視圖擴展(稱作MV-HEVC)及對HEVC之可調式擴展(稱作SHVC)或任何其他合適之寫碼協定。 本文中所描述之實施方案使用HEVC標準或其擴展來描述實例。然而，本文中所描述之技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、其擴展或已可用或尚不可用或尚未開發之其他合適之寫碼標準。因此，雖然可參考特定視訊寫碼標準描述本文中所描述之技術及系統，但一般熟習此項技術者將瞭解，描述不應解譯為僅適用於彼特定標準。 視訊源902可提供視訊資料至編碼器件904。視訊源902可為源器件之部分，或可為除源器件以外的器件之部分。視訊源902可包括視訊捕捉器件(例如，視訊攝影機、攝影機電話、視訊電話或其類似者)、含有經儲存視訊之視訊存檔、提供視訊資料之視訊伺服器或內容提供者、自視訊伺服器或內容提供者接收視訊之視訊饋入介面、用於產生電腦圖形視訊資料之電腦圖形系統、此等源之組合或任何其他合適的視訊源。視訊源902之一個實例可包括網際網路協定攝影機(IP攝影機)。IP攝影機為可用於監控、家庭安全或其他合適應用的數位視訊攝影機之類型。不同於類比閉路電視(CCTV)攝影機，IP攝影機可經由電腦網路及網際網路發送及接收資料。 來自視訊源902之視訊資料可包括一或多個輸入圖像或圖框。圖像或圖框為作為視訊之部分的靜態影像。編碼器件904之編碼器引擎906 (或編碼器)編碼視訊資料以產生經編碼視訊位元串流。在一些實例中，經編碼視訊位元串流(或「視訊位元串流」或「位元串流」)為一系列的一或多個經寫碼視訊序列。經寫碼視訊序列(CVS)包括一系列存取單元(AU)，其始於具有在基礎層中且具有某些性質的隨機存取點圖像之AU，直至且不包括具有在基礎層中且具有某些性質的隨機存取點圖像之下一AU。舉例而言，開始CVS之隨機存取點圖像的某些屬性可包括等於1之RASL旗標(例如，NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。存取單元(AU)包括一或多個經寫碼圖像以及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼圖塊以位元串流層級囊封至稱作網路抽象層(NAL)單元之資料單元中。舉例而言，HEVC視訊位元串流可包括一或多個CVS，該一或多個CVS包括NAL單元。兩種類別之NAL單元以HEVC標準存在，包括視訊寫碼層(VCL) NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個圖塊或圖塊片段(下文描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。 NAL單元可含有形成視訊資料之經寫碼表示(諸如，視訊中之圖像的經寫碼表示)的位元序列(例如，經編碼視訊位元串流、位元串流之CVS或其類似者)。編碼器引擎906藉由將每一圖像分割成多個圖塊而產生圖像之經寫碼表示。圖塊隨後分割成明度樣本及色度樣本之寫碼樹型區塊(CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同樣本之語法被稱為寫碼樹型單元(CTU)。CTU為用於HEVC編碼之基本處理單元。CTU可分割成具有不同大小之多個寫碼單元(CU)。CU含有被稱作寫碼區塊(CB)之明度及色度樣本陣列。 明度及色度CB可進一步分割成預測區塊(PB)。PB為使用用於框間預測之相同運動參數的明度或色度分量的樣本之區塊。該明度PB及一或多個色度PB連同相關聯語法形成預測單元(PU)。在位元串流中針對每一PU傳信運動參數集合，且該運動參數集合用於明度PB及一或多個色度PB之框間預測。CB亦可被分割成一或多個變換區塊(TB)。TB表示色彩分量之樣本之正方形區塊，對該正方形區塊應用同一二維變換以用於寫碼預測殘餘信號。變換單元(TU)表示明度及色度樣本之TB以及對應語法元素。 CU之大小對應於寫碼節點之大小，且可為正方形形狀。舉例而言，CU之大小可為8×8樣本、16×16樣本、32×32樣本、64×64樣本或達至對應CTU之大小的任何其他適當大小。片語「N×N」在本文中用於指代就垂直及水平尺寸而言視訊區塊之像素尺寸(例如，8像素×8像素)。可按列及行來排列區塊中之像素。在一些實施例中，區塊在水平方向上可不具有與在垂直方向上相同的像素數目。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經框內預測模式編碼抑或經框間預測模式編碼之間有所不同。PU可分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據CTU將CU分割成一或多個TU。TU可為正方形或非正方形形狀。 根據HEVC標準，可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。可基於給定CU內之PU的大小而對TU設定大小。TU可與PU大小相同或小於PU。在一些實例中，可使用被稱為殘餘四分樹(RQT)之四分樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。變換係數可隨後由編碼器引擎906量化。 一旦視訊資料之圖像被分割成CU，編碼器引擎906即使用預測模式來預測每一PU。隨後自原始視訊資料中減去預測以得到殘餘(下文描述)。對於每一CU，可使用語法資料在位元串流內部發信預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。使用框內預測時，使用(例如)用以發現PU之平均值之DC預測、用以使平面表面擬合於PU之平面預測、用以自相鄰資料外插之方向預測或任何其他合適類型之預測自同一圖像中之相鄰影像資料預測每一PU。使用框間預測時，使用運動補償預測自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可(例如)以CU層級作出使用圖像間預測或圖像內預測來寫碼圖像區域的決策。在一些實例中，圖像之一或多個圖塊被指派有圖塊類型。圖塊類型包括I圖塊、P圖塊及B圖塊。I圖塊(圖框內，可獨立地解碼)為僅僅藉由框內預測寫碼的圖像之圖塊，且因此可獨立地解碼，此係由於I圖塊僅僅需要圖框內的資料來預測圖塊之任一區塊。P圖塊(單向預測圖框)為可使用框內預測及單向框間預測寫碼之圖像的圖塊。P圖塊內之每一區塊係使用框內預測或框間預測而寫碼。當框間預測應用時，區塊僅僅藉由一個參考圖像而預測，且因此參考樣本僅僅來自一個圖框之一個參考區。B圖塊(雙向預測性圖框)為可使用框內預測及框間預測寫碼的圖像之圖塊。B圖塊之區塊可自兩個參考圖像雙向預測，其中每一圖像貢獻一個參考區且兩個參考區之樣本集經加權(例如，使用相等權重)以產生經雙向預測區塊之預測信號。如上文所解釋，一個圖像之圖塊經獨立寫碼。在一些情況下，圖像可僅作為一個圖塊而被寫碼。 PU可包括與預測處理程序有關之資料。舉例而言，當使用框內預測編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間預測編碼PU時，PU可包括定義PU之運動向量的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。 編碼器件904隨後可執行變換及量化。舉例而言，在預測之後，編碼器引擎906可計算對應於PU之殘餘值。殘餘值可包含像素差值。在預測執行之後可能剩餘的任何殘餘資料係使用區塊變換進行變換，該區塊變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換或其它合適之變換函數。在一些情況下，一或多個區塊變換(例如，大小32×32、16×16、8×8、4×4，或類似者)可應用於每一CU中之殘餘資料。在一些實施例中，TU可用於由編碼器引擎906實施之變換及量化處理程序。具有一或多個PU之給定CU亦可包括一或多個TU。如下文進一步詳細描述，可使用區塊變換將殘餘值變換成變換係數，且隨後可使用TU來量化及掃描殘餘值以產生用於熵寫碼之串列化變換係數。 在一些實施例中，在使用CU之PU進行框內預測性或框間預測性寫碼之後，編碼器引擎906可計算CU之TU的殘餘資料。PU可包含空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包含變換域中之係數。如先前所提及，殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差值。編碼器引擎906可形成包括CU之殘餘資料的TU，且可隨後變換TU以產生CU之變換係數。 編碼器引擎906可執行變換係數之量化。量化藉由量化變換係數以減少用於表示係數之資料的量而提供進一步壓縮。舉例而言，量化可減少與係數中之一些或全部相關聯的位元深度。在一個實例中，具有n位元值之係數可在量化期間下捨入至m位元值，其中n大於m。 一旦執行量化，則經寫碼視訊位元串流包括經量化變換係數、預測資訊(例如，預測模式、運動向量或其類似者)、分割資訊及任何其他合適之資料(諸如其他語法資料)。隨後可藉由編碼器引擎906熵編碼經寫碼視訊位元串流之不同元素。在一些實例中，編碼器引擎906可利用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼之串列化向量。在一些實例中，編碼器引擎906可執行自適應掃描。在掃描經量化變換係數以形成向量(例如，一維向量)之後，編碼器引擎906可熵編碼向量。舉例而言，編碼器引擎906可使用上下文自適應性可變長度寫碼、上下文自適應性二進位算術編碼、基於語法之上下文自適應性二進位算術編碼、機率區間分割熵寫碼或另一合適的熵編碼技術。 編碼器件904之輸出端910可經由通信鏈路920將組成經編碼視訊位元串流資料之NAL單元發送至接收器件之解碼器件912。解碼器件912之輸入端914可接收NAL單元。通信鏈路920可包括由無線網路、有線網路或有線與無線網路之組合提供的頻道。無線網路可包括任何無線介面或無線介面之組合，且可包括任何合適之無線網路(例如，網際網路或其他廣域網路、基於封包之網路、WiFiTM 、射頻(RF)、UWB、WiFi直連(WiFi-Direct)、蜂巢式、長期演進(LTE)、WiMaxTM 或其類似者)。有線網路可包括任何有線介面(例如，光纖、乙太網路、電力線乙太網路、經由同軸電纜之乙太網路、數位信號線(DSL)或其類似者)。可使用各種設備來實施有線及/或無線網路，該等設備諸如基地台、路由器、存取點、橋接器、閘道器、交換器或其類似者。可根據通信標準(諸如，無線通信協定)調變經編碼視訊位元串流資料，且將其傳輸至接收器件。 在一些實例中，編碼器件904可將經編碼視訊位元串流資料儲存於儲存器908中。輸出端910可自編碼器引擎906或自儲存器908擷取經編碼視訊位元串流資料。儲存器908可包括多種分佈式或本端存取資料儲存媒體中之任一者。舉例而言，儲存器908可包括硬碟機、儲存光碟、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。 解碼器件912之輸入端914接收經編碼視訊位元串流資料，且可將視訊位元串流資料提供至解碼器引擎916，或提供至儲存器918以供稍後由解碼器引擎916使用。解碼器引擎916可藉由熵解碼(例如，使用熵解碼器)及提取組成經編碼視訊資料之一或多個經寫碼視訊序列的元素而解碼經編碼視訊位元串流資料。解碼器引擎916可隨後重新按比例調整經編碼視訊位元串流資料且對經編碼視訊位元串流資料執行反變換。殘餘資料隨後傳遞至解碼器引擎916之預測階段。解碼器引擎916隨後預測像素之區塊(例如，PU)。在一些實例中，預測被添加至反變換之輸出(殘餘資料)。 解碼器件912可將經解碼視訊輸出至視訊目的地器件922，視訊目的地器件可包括用於將經解碼視訊資料顯示給內容之消費者的顯示器或其他輸出器件。在一些態樣中，視訊目的地器件922可為包括解碼器件912之接收器件之部分。在一些態樣中，視訊目的地器件922可為除接收器件外的分離器件之部分。 補充增強資訊(SEI)訊息可包括於視訊位元串流中。舉例而言，SEI訊息可用於載送不必要之資訊(例如，後設資料)以便藉由解碼器件912解碼位元串流。此資訊適用於改良經解碼輸出之顯示或處理(例如，此類資訊可由解碼器側實體使用以改良內容之可視性)。 在一些實施例中，視訊編碼器件904及/或視訊解碼器件912可分別與音訊編碼器件及音訊解碼器件整合。視訊編碼器件904及/或視訊解碼器件912亦可包括實施上文所描述之寫碼技術所必需的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。視訊編碼器件904及視訊解碼器件912可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)之部分。 對HEVC標準之擴展包括多視圖視訊寫碼擴展(被稱作MV-HEVC)及可調式視訊寫碼擴展(被稱作SHVC)。MV-HEVC及SHVC擴展共用分層寫碼之概念，其中不同層包括於經編碼視訊位元串流中。經寫碼視訊序列中之每一層由唯一層識別符(ID)定址。層ID可存在於NAL單元之標頭中以識別NAL單元所相關聯之層。在MV-HEVC中，不同層可表示視訊位元串流中之同一場景的不同視圖。在SHVC中，提供以不同空間解析度(或圖像解析度)或不同重建構保真度表示視訊位元串流的不同可調式層。可調式層可包括基礎層(層ID=0)及一或多個增強層(層ID=1、2、…n)。基礎層可符合HEVC之第一版本的設定檔，且表示位元串流中之最低可用層。與基礎層相比，增強層具有增加之空間解析度、時間解析度或圖框速率及/或重建構保真度(或品質)。增強層經階層式組織，且可(或可不)取決於較低層。在一些實例中，可使用單一標準編解碼器來寫碼不同層(例如，使用HEVC、SHVC或其他寫碼標準編碼全部層)。在一些實例中，可使用多標準編碼解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基礎層，而可使用對HEVC標準之SHVC及/或MV-HEVC擴展來寫碼一或多個增強層。一般而言，層包括VCL NAL單元集合及對應的非VCL NAL單元集合。NAL單元被指派特定層ID值。在層可取決於較低層的意義上，層可為階層式的。 一般而言，層包括VCL NAL單元集合及對應的非VCL NAL單元集合。NAL單元被指派特定層ID值。在層可取決於較低層的意義上，層可為階層式的。層集合係指表示在位元串流內之獨立的層集合，意謂在解碼處理程序中層集合內之層可取決於層集合中之其他層，但並不取決於任何其他層來進行解碼。因此，層集合中之層可形成可表示視訊內容之獨立位元串流。可藉由子位元串流提取處理程序之操作自另一位元串流獲得層集合中之層的集合。層集合可對應於待在解碼器希望根據某些參數操作時被解碼之層集合。 由攝影機(例如，魚眼攝影機或其他全向攝影機)捕捉之視訊資料可經寫碼以減小用於傳輸及儲存所需之資料的量。寫碼技術可實施於實例視訊編碼及解碼系統(例如，系統900)中。在一些實例中，系統包括提供稍後由目的地器件解碼之經編碼視訊資料的源器件。詳言之，源器件經由電腦可讀媒體將視訊資料提供至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」板、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，源器件及目的地器件可經裝備以用於無線通信。 編碼器件1004及解碼器件1112之特定細節分別展示於圖10及圖11中。圖10為示出可實施本發明中所描述之技術中之一或多者的實例編碼器件1004之方塊圖。編碼器件1004可(例如)產生本文中所描述之語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼器件1004可執行視訊圖塊內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之鄰近或周圍圖框內的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中之任一者。 編碼器件1004包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建構，編碼器件1004亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器(諸如，解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器)。雖然濾波器單元63在圖10中展示為迴路濾波器，但在其他組態中，濾波器單元63可實施為後迴路濾波器。後處理器件57可對由編碼器件1004產生之經編碼視訊資料執行額外處理。在一些情況下，本發明之技術可藉由編碼器件1004實施。然而，在其他情況下，本發明之技術中之一或多者可藉由後處理器件57實施。 如圖10中所展示，編碼器件1004接收視訊資料，且分割單元35將該資料分割成視訊區塊。分割亦可包括(例如)根據LCU及CU之四分樹結構分割成圖塊、圖塊片段、影像塊或其他較大單元，以及視訊區塊分割。編碼器件1004通常示出編碼待編碼之視訊圖塊內的視訊區塊之組件。可將圖塊劃分成多個視訊區塊(且可能劃分成被稱作影像塊之視訊區塊集合)。預測處理單元41可基於錯誤結果(例如，寫碼速率及失真等級，或其類似者)選擇複數個可能的寫碼模式中之一者(諸如，複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者)以用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。 預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊在相同之圖框或圖塊中之一或多個相鄰區塊的框內預測寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼，以提供時間壓縮。 運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但處於概念目的而分開說明。由運動估計單元42執行之運動估計為產生運動向量之處理程序，該等運動向量估計視訊區塊之運動。運動向量(例如)可指示當前視訊圖框或圖像內之視訊區塊的預測單元(PU)相對於參考圖像內之預測性區塊的移位。 預測性區塊為被發現在像素差方面緊密地匹配待寫碼視訊區塊之PU的區塊，該等像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度判定。在一些實例中，編碼器件1004可計算儲存於圖像記憶體64中之參考圖像的次整數像素位置之值。舉例而言，編碼器件1004可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由將PU之位置與參考圖像之預測性區塊的位置比較而計算經框間寫碼圖塊中之視訊區塊之PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中之每一者識別儲存在圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44所執行之運動補償可涉及基於由運動估計所判定之運動向量而提取或產生預測性區塊，可能執行子像素精確度之內插。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量指向之預測性區塊。編碼器件1004藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差值形成用於區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減法運算之組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素，以供圖11之解碼器件1112用於解碼視訊圖塊之視訊區塊。 圖10之框內預測處理單元46可對當前區塊進行框內預測，作為如上文所描述之藉由運動估計單元42及運動補償單元44執行之框間預測的替代方案。詳言之，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在分開的編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46 (或在一些實例中，模式選擇單元40)可自所測試模式選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始、未編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。編碼器件1004可將各種區塊之編碼上下文之定義以及待用於上下文中之每一者的最可能的框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示包括於經傳輸位元串流組態資料中。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。 在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，編碼器件1004藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似之變換的變換將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域變換至變換域(諸如，頻域)。 變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化處理程序可減小與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54隨後可執行對包括經量化之變換係數之矩陣的掃描。替代地，熵編碼單元56可執行該掃描。 在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至解碼器件1112，或經存檔以供稍後由解碼器件1112傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊圖塊之運動向量及其他語法元素。 反量化單元58及反變換處理單元60分別應用反量化及反變換以重建像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算次整數像素值以用於運動估計。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊以產生參考區塊以用於儲存於圖像記憶體64中。參考區塊可由運動估計單元42及運動補償單元44用作為參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。 以此方式，圖10之編碼器件1004表示經組態以產生經編碼視訊位元串流之語法的視訊編碼器之實例。編碼器件1004可(例如)產生如上文所描述之VPS、SPS及PPS參數集。編碼器件1004可執行本文中所描述之技術中之任一者，包括上文關於圖10及圖11描述之處理程序。本發明之技術已大體上關於編碼器件1004加以描述，但如上文所提及，本發明之技術中的一些亦可藉由後處理器件57實施。 圖11為示出實例解碼器件1112之方塊圖。解碼器件1112包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，解碼器件1112可執行大體上與關於來自圖10之編碼器件1004描述的編碼遍次互逆的解碼遍次。 在解碼處理程序期間，圖11之解碼器件1112接收表示由圖10之編碼器件1004發送之經編碼視訊圖塊及相關聯語法元素之視訊區塊的經編碼視訊位元串流。在一些實施例中，圖11之解碼器件1112可自編碼器件1004接收經編碼視訊位元串流。在一些實施例中，解碼器件1112可自諸如以下各者之網路實體79接收經編碼視訊位元串流：伺服器、媒體感知網路元件(MANE)、視訊編輯器/剪接器或經組態以實施上文所描述之技術中之一或多者的其他此器件。網路實體79可包括或可不包括編碼器件1004。本發明中所描述之技術中的一些可在網路實體79將經編碼視訊位元串流傳輸至解碼器件1112之前由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼器件1112可為單獨器件之部分，而在其他情況下，關於網路實體79所描述之功能性可藉由包含解碼器件1112之相同器件進行執行。 解碼器件1112之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測處理單元81。解碼器件1112可接收視訊圖塊層級及/或視訊區塊層級之語法元素。熵解碼單元80可處理並解析諸如VPS、SPS及PPS集合之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。 當將視訊圖塊寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於傳信的框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單內之參考圖像中之一者產生預測性區塊。解碼器件1112可基於儲存於圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。 運動補償單元82藉由解析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊以產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素來判定用於寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之一或多個參考圖像清單的建構資訊、圖塊之每一經框間編碼視訊區塊的運動向量、圖塊之每一經框間寫碼視訊區塊的框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視訊區塊期間由編碼器件1004使用的內插濾波器來計算參考區塊之次整數像素的內插值。在此情況下，運動補償單元82可自所接收語法元素判定由編碼器件1004使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。 反量化單元86反量化(或解量化)位元串流中所提供，且由熵解碼單元80解碼的經量化之變換係數。反量化處理程序可包括使用由編碼器件1004針對視訊圖塊中之每一視訊區塊計算之量化參數以判定應應用之量化程度及(同樣地)反量化程度。反變換處理單元88將反變換(例如，反DCT或其他合適之反變換)、反整數變換或概念上類似的反變換處理程序應用於變換係數以便在像素域中產生殘餘區塊。 在運動補償單元82基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，解碼器件1112藉由將來自反轉換處理單元88之殘餘區塊與由運動補償單元82所產生之相應預測性區塊求和，從而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器，諸如，解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元91在圖11中展示為迴路內濾波器，但在其他組態中，濾波器單元91可實施為迴路後濾波器。給定圖框或圖像中之經解碼視訊區塊隨後儲存於圖像記憶體92中，該圖像記憶體儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖9中所展示之視訊目的地器件922)上。 在前述描述中，申請案之態樣係參考其特定實施例而描述，但熟習此項技術者將認識到本發明不限於此。因此，儘管本文中已詳細描述申請案之說明性實施例，但應理解，本發明概念可以其他方式不同地體現並使用，且所附申請專利範圍意欲解釋為包括除先前技術所限制外的此等變化。上文所描述之發明之各種特徵及態樣可單獨地或聯合地使用。另外，在不脫離本說明書之更廣精神及範疇之情況下，實施例可用於超出本文所描述之彼等環境及應用之任何數目個環境及應用。因此，本說明書及圖式被視為說明性而非限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同的次序執行該等方法。 在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計用以執行操作之電子電路或其他硬體、藉由程式化用以執行操作之可程式化電子電路(例如，微處理器或其他合適的電子電路)或其任何組合來實現此等組態。 結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以描述。將此功能實施為硬體抑或軟體取決於施加於整個系統上之特定應用及設計約束。熟習此項技術者可針對每一特定應用而以不同方式來實施所描述功能性，但此等實施決策不應被解譯為導致脫離本發明之範疇。 本文所描述之技術可以硬體、軟體、韌體或其任何組合來實施。此技術可以諸如以下各者之多種器件中之任一者實施：通用電腦、無線通信器件手持機，或具有包括無線通信器件手持機及其他器件中之應用之多個用途的積體電路器件。可將描述為模組或組件之任何特徵一起實施於整合式邏輯器件中或分開來實施為離散但可互操作之邏輯器件。若以軟體實施，則該等技術可至少部分由包含包括當經執行時執行上文所描述方法中之一或多者之指令之程式碼的電腦可讀資料儲存媒體實現。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及類似者。該等技術另外或替代地可至少部分由電腦可讀通信媒體實現，該電腦可讀通信媒體攜載或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如，傳播之信號或波。 程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路。此處理器可經組態以執行本發明中所描述之技術中之任一者。通用處理器可為微處理器；但在替代方案中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如，DSP與微處理器之組合、複數個微處理器、一或多個微處理器結合DSP核心或任何其他此組態。因此，如本文中所使用之術語「處理器」可指代前述結構、前述結構之任何組合或適合於實施本文中描述之技術的任何其他結構或裝置中之任一者。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組，或併入於組合式視訊編碼器-解碼器(編碼解碼器)中。 本文中所論述之寫碼技術可體現於實例視訊編碼及解碼系統中。系統包括藉由目的地器件提供待稍後經解碼之經編碼視訊資料的源器件。詳言之，源器件經由電腦可讀媒體將視訊資料提供至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話)、所謂的「智慧型」板、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下，源器件及目的地器件可經裝備以用於無線通信。 目的地器件可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源器件移動至目的地器件的任何類型之媒體或器件。在一個實例中，電腦可讀媒體可包含通信媒體以使得源器件能夠即時地將經編碼視訊資料直接傳輸至目的地器件。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可適用於促進自源器件至目的地器件之通信的任何其他設備。 在一些實例中，經編碼資料可自輸出介面輸出至儲存器件。類似地，可由輸入介面自儲存器件存取經編碼資料。儲存裝置可包括多種分佈式或本端存取資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件產生之經編碼視訊的另一中間儲存器件。目的地器件可經由串流傳輸或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件可經由任何標準資料連接(包括網際網路連接)來存取經編碼視訊資料。此資料連接可包括適於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)，或兩者之結合。來自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存在資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在一個實例中，源器件包含視訊源、視訊編碼器及輸出介面。目的地器件可包括輸入介面、視訊解碼器及顯示器件。源器件之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件可與外部顯示器件介接，而不包括整合式顯示器件。 以上實例系統僅為一個實例。用於並行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術通常由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器(CODEC)」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件及目的地器件僅為源器件產生經寫碼視訊資料以供傳輸至目的地器件之此類寫碼器件的實例。在一些實例中，源器件及目的地器件可以大體上對稱之方式操作，使得該等器件中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊器件之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 視訊源可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代方案，視訊源可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源為視訊攝影機，則源器件及目的地器件可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中描述之技術通常可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，可由視訊編碼器編碼所捕捉、經預捕捉或電腦產生之視訊。經編碼視訊資訊可隨後由輸出介面輸出至電腦可讀媒體上。 如所提及，電腦可讀媒體可包括暫態媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件。類似地，媒體生產設施(諸如，光碟衝壓設施)之計算器件可自源器件接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體可理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊(其亦由視訊解碼器使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。本申請案之各種實施例已經描述。
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
57‧‧‧後處理器件
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧圖像記憶體
79‧‧‧網路實體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧圖像記憶體
100‧‧‧圖像
102‧‧‧場景
104‧‧‧角
200‧‧‧影像
202‧‧‧圓形區域
204‧‧‧角
210‧‧‧半球形表示
212‧‧‧中心
214a‧‧‧最頂部點
214b‧‧‧最底部點
214c‧‧‧最右端
214d‧‧‧最左端
222‧‧‧中心
224a‧‧‧最頂部點
224b‧‧‧最底部點
224c‧‧‧最右端
224d‧‧‧最左端
310‧‧‧半球形表示
320‧‧‧觀察者
402‧‧‧影像平面
406‧‧‧攝影機位置
420‧‧‧透鏡
502‧‧‧影像平面
506‧‧‧攝影機位置
520‧‧‧透鏡
602‧‧‧影像
604‧‧‧點
610‧‧‧半球形表示
614‧‧‧點
702‧‧‧影像
710‧‧‧影像
800‧‧‧處理程序
802‧‧‧步驟
804‧‧‧步驟
806‧‧‧步驟
900‧‧‧系統
902‧‧‧視訊源
904‧‧‧編碼器件
906‧‧‧編碼引擎
908‧‧‧儲存器
910‧‧‧輸出端
912‧‧‧解碼器件
914‧‧‧輸入端
916‧‧‧解碼引擎
918‧‧‧儲存器
920‧‧‧通信鏈路
922‧‧‧視訊目的地單元
1004‧‧‧編碼器件
1112‧‧‧解碼器件
下文參考以下圖式詳細描述本申請案之說明性實施例： 圖1示出使用魚眼透鏡捕捉之圖像之實例。 圖2A及圖2B示出本文所論述之技術之實例應用。 圖3示出半球形表示之實例用途。 圖4示出180度角魚眼透鏡之橫截面之實例，及用於該等透鏡之對應影像平面。 圖5示出半球形魚眼透鏡之實例，及用於該等半球形魚眼透鏡之對應影像平面。 圖6A示出可由全向攝影機捕捉之影像之實例。 圖6B示出待將圖6A之影像中所捕捉之場景映射至之半球形表示之實例。 圖7A及圖7B示出在存在及不存在校正之情況下所呈現之影像之實例。 圖8示出用於將2維魚眼影像映射至3維半球形表示以用於在360度視訊展示中顯示之處理程序之實例。 圖9為示出包括編碼器件及解碼器件之系統之實例的方塊圖。 圖10為示出實例編碼器件之方塊圖。 圖11為示出實例解碼器件之方塊圖。
100‧‧‧圖像
102‧‧‧場景
104‧‧‧角

Claims (35)

  1. 一種處理360度視訊資料之方法，該方法包含： 獲得由一全向攝影機捕捉之2維視訊資料，其中該2維視訊資料包括一場景之一影像，且其中，在該影像中，該場景已變形成該影像之一圓形區域； 將該影像映射至一3維半球形表示，其中映射該影像包括將該影像之該圓形區域中之像素映射至該3維半球形表示上之對應位置，其中映射該影像校正該場景之該變形；及 將該3維半球形表示用於一360度視訊展示中。
  2. 如請求項1之方法，其中映射該影像包括使用一多項式方程式以將該影像中之一點投影至在該3維半球形表示上之一對應點，且其中該影像中之該點提供將映射至該3維半球形表示上之該點的一像素。
  3. 如請求項1之方法，其中該變形為非線性的，且進一步包含： 使用一經調整之徑向值判定該2維影像中之一像素之座標，且其中該經調整之徑向值對應於該變形之非線性度；及 將該經判定之座標用於該映射中。
  4. 如請求項1之方法，其中該影像包括大於180度之一視場，且進一步包含： 使用已根據該視場按比例調整之一徑向值調整該2維影像中之一像素之座標；及 將該經調整之座標用於該映射中。
  5. 如請求項1之方法，其中該影像包括一至少180度之視場。
  6. 如請求項1之方法，其中該全向攝影機包括一魚眼透鏡。
  7. 如請求項1之方法，其中該視訊資料係自一經編碼之位元串流獲得，其中該經編碼之位元串流包括描述該變形之一或多個參數，且其中映射該影像包括使用該一或多個參數。
  8. 如請求項7之方法，其中該一或多個參數經編碼於該經編碼之位元串流中之一補充增強資訊(SEI)訊息中。
  9. 如請求項7之方法，其中該經編碼之位元串流包括於根據一ISO基本媒體檔案格式而格式化之一檔案中，且其中該一或多個參數以該檔案中之一結構編碼。
  10. 如請求項7之方法，其中該一或多個參數包括一多項式階、一多項式係數、一多項式縮放參數或一映射縮放參數中之至少一或多者。
  11. 一種用於處理經編碼視訊之裝置，其包含： 一記憶體，其經組態以儲存由一全向攝影機捕捉之2維視訊資料；及 一處理器，其經組態以： 獲得該2維視訊資料，其中該2維視訊資料包括一場景之一影像，且其中，在該影像中，該場景已變形成該影像之一圓形區域； 將該影像映射至一3維半球形表示，其中映射該影像包括將該影像之該圓形區域中之像素映射至該3維半球形表示上之對應位置，其中映射該影像校正該場景之該變形；及 將該3維半球形表示用於一360度視訊展示中。
  12. 如請求項11之裝置，其中映射該影像包括使用一多項式方程式以將該影像中之一點投影至該3維半球形表示上之一對應點，且其中該影像中之該點提供將映射至該3維半球形表示上之該點的一像素。
  13. 如請求項11之裝置，其中該變形為非線性的，且其中該處理器經進一步組態以： 使用一經調整之徑向值判定該2維影像中之一像素之座標，且其中該經調整之徑向值對應於該變形之非線性度；及 將該等標準化座標用於該映射中。
  14. 如請求項11之裝置，其中該影像包括大於180度之一視場，且其中該處理器經進一步組態以： 使用已根據該視場按比例調整之一徑向值調整該2維影像中之一像素之座標；及 將該等經調整之座標用於該映射中。
  15. 如請求項11之裝置，其中該影像包括至少180度之一視場。
  16. 如請求項11之裝置，其中該全向攝影機包括一魚眼透鏡。
  17. 如請求項11之裝置，其中該視訊資料係自一經編碼之位元串流獲得，其中該經編碼之位元串流包括描述該變形之一或多個參數，且其中映射該影像包括使用該一或多個參數。
  18. 如請求項17之裝置，其中該一或多個參數經編碼於該經編碼之位元串流中之一補充增強資訊(SEI)訊息中。
  19. 如請求項17之裝置，其中該經編碼之位元串流包括於根據一ISO基本媒體檔案格式而格式化之一檔案中，且其中該一或多個參數以該檔案中之一結構編碼。
  20. 如請求項17之裝置，其中該一或多個參數包括一多項式階、一多項式係數、一多項式縮放參數或一映射縮放參數中之至少一或多者。
  21. 如請求項11之裝置，其進一步包含： 一行動器件，其中該行動器件包括該全向攝影機。
  22. 一種用於解碼視訊之裝置，其包含： 一記憶體，其經組態以儲存由一全向攝影機捕捉之2維視訊資料；及 一處理器，其經組態以： 獲得該2維視訊資料，其中該2維視訊資料包括一場景之一影像，且其中，在該影像中，該場景已變形成該影像之一圓形區域； 將該影像映射至一3維半球形表示，其中映射該影像包括將該影像之該圓形區域中之像素映射至該3維半球形表示上之對應位置，其中映射該影像校正該場景之該變形；及 將該3維半球形表示用於一360度視訊展示中。
  23. 如請求項22之裝置，其中映射該影像包括使用一多項式方程式以將該影像中之一點投影至該3維半球形表示上之一對應點，且其中該影像中之該點提供將映射至該3維半球形表示上之該點的一像素。
  24. 如請求項22之裝置，其中該變形為非線性的，且其中該處理器經進一步組態以： 使用一經調整之徑向值判定該2維影像中之一像素之座標，且其中該經調整之徑向值對應於該變形之非線性度；及 將該等標準化座標用於該映射中。
  25. 如請求項22之裝置，其中該影像包括大於180度之一視場，且其中該處理器經進一步組態以： 調整使用已根據該視場按比例調整之一徑向調整之該2維影像中之一像素之座標；及 將該等經調整之座標用於該映射中。
  26. 如請求項22之裝置，其中該影像包括至少180度之一視場。
  27. 如請求項22之裝置，其中該全向攝影機包括一魚眼透鏡。
  28. 如請求項22之裝置，其中該視訊資料係自一經編碼之位元串流獲得，其中該經編碼之位元串流包括描述該變形之一或多個參數，且其中映射該影像包括使用該一或多個參數。
  29. 如請求項28之裝置，其中該一或多個參數經編碼於該經編碼之位元串流中之一補充增強資訊(SEI)訊息中。
  30. 如請求項28之裝置，其中該經編碼之位元串流包括於根據一ISO基本媒體檔案格式而格式化之一檔案中，且其中該一或多個參數以該檔案中之一結構編碼。
  31. 如請求項28之裝置，其中該一或多個參數包括一多項式階、一多項式係數、一多項式縮放參數或一映射縮放參數中之至少一或多者。
  32. 如請求項22之裝置，其進一步包含： 一行動器件，其中該行動器件包括該全向攝影機。
  33. 如請求項22之裝置，其進一步包含： 一行動器件，其中該行動器件包括用於顯示該360度視訊展示之一顯示器。
  34. 一種上面儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器以： 獲得由一全向攝影機捕捉之2維視訊資料，其中該2維視訊資料包括一場景之一影像，且其中，在該影像中，該場景已變形成該影像之一圓形區域； 將該影像映射至一3維半球形表示，其中映射該影像包括將該影像之該圓形區域中之像素映射至該3維半球形表示上之對應位置，其中映射該影像校正該場景之該變形；及 將該3維半球形表示用於一360度視訊展示中。
  35. 一種裝置，其包含： 用於獲得該2維視訊資料之構件，其中該2維視訊資料包括一場景之一影像，且其中，在該影像中，該場景已變形成該影像之一圓形區域； 用於將該影像映射至一3維半球形表示之構件，其中映射該影像包括將該影像之該圓形區域中之像素映射至該3維半球形表示上之對應位置，其中映射該影像校正該場景之該變形；及 用於將該3維半球形表示用於一360度視訊展示中之構件。
TW106115402A 2016-05-24 2017-05-10 具有用於360度視訊之透鏡失真校正之魚眼呈現 TW201742435A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662340914P 2016-05-24 2016-05-24
US15/495,709 US10699389B2 (en) 2016-05-24 2017-04-24 Fisheye rendering with lens distortion correction for 360-degree video

Publications (1)

Publication Number Publication Date
TW201742435A true TW201742435A (zh) 2017-12-01

Family

ID=58800890

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115402A TW201742435A (zh) 2016-05-24 2017-05-10 具有用於360度視訊之透鏡失真校正之魚眼呈現

Country Status (9)

Country Link
US (1) US10699389B2 (zh)
EP (1) EP3465607B1 (zh)
JP (1) JP2019523921A (zh)
KR (1) KR102373921B1 (zh)
CN (1) CN109155056B (zh)
BR (1) BR112018073986A2 (zh)
SG (1) SG11201808923QA (zh)
TW (1) TW201742435A (zh)
WO (1) WO2017204971A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820246B (zh) * 2018-11-06 2023-11-01 荷蘭商皇家飛利浦有限公司 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200672B2 (en) * 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
KR20190052129A (ko) 2016-10-04 2019-05-15 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN107967665B (zh) * 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
US10332242B2 (en) 2017-02-02 2019-06-25 OrbViu Inc. Method and system for reconstructing 360-degree video
US10915986B2 (en) * 2017-03-20 2021-02-09 Qualcomm Incorporated Adaptive perturbed cube map projection
US10467775B1 (en) * 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
US10469751B2 (en) * 2017-05-12 2019-11-05 Garmin Switzerland Gmbh Smart stabilization and reorientation for an omnidirectional camera
TWI640747B (zh) * 2017-11-28 2018-11-11 寶成工業股份有限公司 鞋件的視覺檢測裝置
US20200382757A1 (en) * 2018-01-23 2020-12-03 Lg Electronics Inc. Method and apparatus for transmitting or receiving 360-degree video including camera lens information
US20190236416A1 (en) * 2018-01-31 2019-08-01 Microsoft Technology Licensing, Llc Artificial intelligence system utilizing microphone array and fisheye camera
WO2019176189A1 (ja) * 2018-03-16 2019-09-19 ソニー株式会社 画像処理装置と画像処理方法
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
TWI681366B (zh) * 2018-05-31 2020-01-01 廣達電腦股份有限公司 非線性延展裁切影像之方法及系統
US10878595B2 (en) * 2018-07-02 2020-12-29 Intel Corporation Dual model for fisheye lens distortion and an algorithm for calibrating model parameters
EP3776485B1 (en) * 2018-09-26 2022-01-26 Coherent Logix, Inc. Any world view generation
US11128814B2 (en) * 2018-11-30 2021-09-21 Vecnos Inc. Image processing apparatus, image capturing apparatus, video reproducing system, method and program
US11875796B2 (en) 2019-04-30 2024-01-16 Microsoft Technology Licensing, Llc Audio-visual diarization to identify meeting attendees
US10812921B1 (en) 2019-04-30 2020-10-20 Microsoft Technology Licensing, Llc Audio stream processing for distributed device meeting
US11822081B2 (en) * 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof
KR102263540B1 (ko) * 2019-09-27 2021-06-14 (주)베이다스 왜곡 영상 내에 gt 영역 설정 방법 및 장치
US11127111B2 (en) * 2019-11-14 2021-09-21 Qualcomm Incorporated Selective allocation of processing resources for processing image data
CN110930299A (zh) * 2019-12-06 2020-03-27 杭州视洞科技有限公司 一种基于半球展开的圆形鱼眼视频显示方案
CN111787300B (zh) * 2020-07-29 2022-07-01 北京金山云网络技术有限公司 Vr视频的处理方法、装置及电子设备
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备
CN112669429A (zh) * 2021-01-07 2021-04-16 稿定（厦门）科技有限公司 图像扭曲渲染方法及装置
EP4300963A4 (en) * 2021-03-30 2024-05-08 Panasonic Intellectual Property Corporation of America IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE PROCESSING METHOD, IMAGE ENCODING DEVICE, AND IMAGE DECODING DEVICE
US11720995B2 (en) 2021-06-04 2023-08-08 Ford Global Technologies, Llc Image rectification
EP4328847A1 (en) 2021-07-09 2024-02-28 Samsung Electronics Co., Ltd. Electronic device and operation method of electronic device
CN115100026B (zh) * 2022-06-15 2023-07-14 佳都科技集团股份有限公司 基于目标对象的标签坐标转换方法、装置、设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US6002430A (en) 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
EP1229740A3 (en) * 1996-01-22 2005-02-09 Matsushita Electric Industrial Co., Ltd. Method and device for digital image encoding and decoding
AU4336300A (en) * 1999-04-08 2000-10-23 Internet Pictures Corporation Virtual theater
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
JP4975592B2 (ja) * 2007-11-19 2012-07-11 アルプス電気株式会社 撮像装置
JP4629131B2 (ja) * 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
JP5046132B2 (ja) * 2008-12-24 2012-10-10 株式会社富士通ゼネラル 画像データ変換装置
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
JP5843033B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820246B (zh) * 2018-11-06 2023-11-01 荷蘭商皇家飛利浦有限公司 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品

Also Published As

Publication number Publication date
KR20190009753A (ko) 2019-01-29
CN109155056B (zh) 2023-07-21
WO2017204971A1 (en) 2017-11-30
BR112018073986A2 (pt) 2019-02-26
EP3465607A1 (en) 2019-04-10
US10699389B2 (en) 2020-06-30
US20170345136A1 (en) 2017-11-30
SG11201808923QA (en) 2018-12-28
CN109155056A (zh) 2019-01-04
EP3465607B1 (en) 2021-02-17
JP2019523921A (ja) 2019-08-29
KR102373921B1 (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
KR102373921B1 (ko) ３６０ 도 비디오에 대한 렌즈 왜곡 보정을 갖는 어안 렌더링
US11798166B2 (en) Sphere pole projections for efficient compression of 360-degree video
US10915986B2 (en) Adaptive perturbed cube map projection
US10620441B2 (en) Viewport-aware quality metric for 360-degree video
CN110383843B (zh) 用于360度视频的有效压缩的球体赤道投影
US10319071B2 (en) Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US10904531B2 (en) Adaptive parameters for coding of 360-degree video
US20180199029A1 (en) Adjusting field of view of truncated square pyramid projection for 360-degree video