TW201501509A - 用於多視角成像裝置的編碼視頻資料信號之方法 - Google Patents

用於多視角成像裝置的編碼視頻資料信號之方法 Download PDF

Info

Publication number
TW201501509A
TW201501509A TW103116629A TW103116629A TW201501509A TW 201501509 A TW201501509 A TW 201501509A TW 103116629 A TW103116629 A TW 103116629A TW 103116629 A TW103116629 A TW 103116629A TW 201501509 A TW201501509 A TW 201501509A
Authority
TW
Taiwan
Prior art keywords
image
depth
sub
metadata
video
Prior art date
Application number
TW103116629A
Other languages
English (en)
Other versions
TWI644559B (zh
Inventor
Philip Steven Newton
Haan Wiebe De
Original Assignee
Koninkl Philips Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninkl Philips Nv filed Critical Koninkl Philips Nv
Publication of TW201501509A publication Critical patent/TW201501509A/zh
Application granted granted Critical
Publication of TWI644559B publication Critical patent/TWI644559B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明係關於一種用於一多視角成像裝置的編碼一視頻資料信號之方法、一種解碼該視頻資料信號之方法、該視頻資料信號、一種該視頻資料信號之編碼器、一種該視頻資料信號之解碼器、一種包括用於編碼該視頻資料信號之指令之電腦程序產品，及一種包括用於解碼一視頻資料信號之指令之電腦程式產品。編碼之該方法提供(401)與一第一視點相關聯之一場景之一第一影像(10)、與該第一影像相關聯之一深度映射(20)、藉由該多視角成像裝置用於深度映射處理或針對進一步視點成像一或多個視角之元資料(30)，且產生(404)該視頻資料信號。該視頻資料信號包括分割成子影像之視頻訊框，該等子影像包括基於該第一影像之一子影像及基於該深度映射之一深度子影像，及編碼在該深度子影像之一色彩成分中之元資料。

Description

用於多視角成像裝置的編碼視頻資料信號之方法
本發明係關於一種用於多視角成像裝置的編碼一視頻資料信號之方法、一種解碼一視頻資料信號之方法、一種視頻資料信號、一種用於一多視角成像裝置之一視頻資料信號之編碼器、一種視頻資料信號之解碼器、一種包括用於編碼一視頻資料信號之指令之電腦程式產品，及一種包括用於解碼一視頻資料信號之指令之電腦程式產品。
經過上二十年，三維顯示技術已經成熟。三維(3D)顯示裝置藉由將被觀看之場景之不同視圖提供給觀察者眼睛之各者而將一第三維度(深度)增加至觀看體驗。
因此，吾人現具有觀看三維影像/視頻信號之各種方式。一方面，吾人具有其中一使用者被針對她/他的左眼及右眼呈現不同影像之基於眼鏡之三維顯示系統。另一方面，吾人具有將一場景之一三維視圖提供給一觀察者之肉眼之自動立體三維顯示系統。
在基於眼鏡之系統中，主動/被動眼鏡提供一濾光器以分離如針對觀察者之各自眼睛呈現在螢幕上之不同影像。在無眼鏡或自動立體系統中，裝置常常係使用(例如)一隔板或雙凸透鏡之形式之光引導構件引導一左影像至左眼及一右影像至右眼。
為提供內容用於立體多視角顯示裝置，尤其亦用於一方面諸如 機上盒、藍牙播放器之內容遞送裝置與另一方面諸如電視之顯示/成像裝置之間之裝置界面，隨著時間已設計各種輸入格式。
隨著時間，已界定用於在裝置界面上傳送視頻資料之各種格式，諸如HDMI、DVI或顯示埠。隨著立體影像成像及自動立體顯示器之引入，出現對提供內容用於立體影像成像之一進一步需要。PCT申請案WO2006/137000(A1)中揭示一此格式，該案係關於描述影像及深度資訊，及視情況遮擋影像及遮擋深度可如何以一矩陣形式在一現存裝置界面(諸如，HDMI)上被傳送之一格式。此方法背後之大致觀點係重用現存標準裝置界面以將內容遞送至新的自動立體顯示裝置。
近來，HDMI裝置界面格式已經調試以亦處置視頻資料以用於立體影像產生中，如文件「高解析度多媒體界面規範版本1.4a，3D傳訊部分之摘要」中所揭示，其可用於使用下列鏈路自HDMI網站下載：http：//www.hdmi.org/manufacturer/specification.aspx。
【發明目的】
發明者已觀察到如HDMI之現存音頻/視頻界面格式對需要影像及深度資訊之基於影像之成像之格式具有有限支援。例如，在HDMI 1.4b中，僅存在對傳送一左影像及一相關聯深度映射之基本支援。因此，顯然存在進一步改良空間。
發明者認識到對於一者來說增加(例如)亦將支援提供給立體影像及相關聯深度資訊之傳輸之進一步格式將係有利的。此外，如稍後將更詳細論述，亦將更精細支援提供給自源裝置至接收裝置之補充資訊(如SEI)之傳輸將更有益。
根據本發明之一第一態樣，提供一種根據請求項1之用於一多視角成像裝置的編碼一視頻資料信號之方法。
視情況，視頻信號可具有兩個(或兩個以上)具有各自視點(例 如，一左視點及一右視點)之基於各自影像(例如，稱作一第一影像及一第二影像)之子影像。元資料可被編碼在一或兩個各自深度子影像中。視情況，其中請求項界定元資料被編碼在色彩成分中，元資料可被編碼在兩個或兩個以上之色彩成分中。
較佳地，自深度映射之影像被編碼在一或兩個進一步子影像之亮度值中，且自元資料之資訊被編碼在一或兩個進一步子影像之色度值中，導致傳輸視頻資料信號之一回溯相容方式。
較佳地，包含在視頻資料信號中之資訊包括一實質上未壓縮二維資料陣列。
較佳地，該方法進一步包括在一界面上使用一或多個位元串列資料線將視頻資料信號傳輸至多視角成像裝置。
較佳地，元資料嵌入在視頻資料信號中用於各場、各訊框、各組圖像，及/或各場景。
較佳地，元資料具有一總和檢查碼，元資料將由深度映射處理或解碼器側之視角成像使用。元資料中之錯誤之影響可係顯著的。在傳送未壓縮影像資料(諸如，RGB像素)之一資料界面中，一像素值中之一錯誤將不導致多餘理解錯誤。然而，元資料中之一錯誤可導致一訊框之經成像視圖基於錯誤深度資訊及/或使用錯誤成像設定被計算。此之影響可係相當顯著的且因此要求此錯誤之偵測且較佳使用冗餘及/或一錯誤校正碼。
較佳地，元資料包括指示所提供之元資料是否係新的之新鮮資訊，以幫助產生用於在解碼側處置元資料處理之一更有效控制程序。
較佳地，元資料包括指示元資料是否自先前訊框起已改變之資訊。此進一步容許控制程序變得更有效，其係因為未改變(儘管其等被傳輸)之設定無需刷新/更新。
較佳地，該方法進一步包括藉由立體深度資訊處置編碼及傳送 立體視頻資料。
根據本發明之一第二態樣，提供一種視頻資料信號，根據請求項10中所主張之用於一多視角成像裝置之視頻資料信號(50)。
根據本發明之一第三態樣，提供一種資料載體，其包括請求項10或11之任一者之一非暫時性形式之視頻資料信號。此資料載體可係一儲存裝置(諸如，一硬碟機)或一固態驅動之形式，或係一光碟形式之一資料載體。
根據本發明之一第四態樣，提供一種根據請求項13之用於一多視角成像裝置的解碼一視頻資料信號之方法。
根據本發明之一第五態樣，提供一種根據請求項15之用於一多視角成像裝置的解碼一視頻資料信號之解碼器。
根據本發明之一第六態樣，提供一種包括用於使一處理器系統執行根據請求項1至9之任一者之方法之指令之電腦程式產品。
根據本發明之一第七態樣，提供一種包括用於使一處理器系統執行根據請求項13至14之任一者之方法之指令之電腦程式產品。
根據本發明之一第八態樣，提供一種根據請求項22之用於一多視角成像裝置之一視頻資料信號之編碼器。
自後文描述之實施例明白且參考後文描述之實施例闡明本發明之此等及其他態樣。
10‧‧‧第一影像
20‧‧‧深度映射
30‧‧‧元資料
50‧‧‧視頻資料信號
70‧‧‧處置器
71‧‧‧儲存媒體
72‧‧‧有線網路
73‧‧‧無線網路
301‧‧‧第一擷取單元
302‧‧‧第二擷取單元
303‧‧‧第三擷取單元
304‧‧‧產生器
310‧‧‧編碼器
350‧‧‧解碼器
351‧‧‧接收器
352‧‧‧解多工器
353‧‧‧深度映射處理器
354‧‧‧成像單元
355‧‧‧控制處理器
356‧‧‧多視角立體顯示單元
401‧‧‧步驟
402‧‧‧步驟
403‧‧‧步驟
404‧‧‧步驟
501‧‧‧步驟
502‧‧‧步驟
503‧‧‧步驟
504‧‧‧步驟
504’‧‧‧步驟
505‧‧‧步驟
在圖式中：圖1展示2D+深度格式在HDMI上之傳送之一示意性表示，圖2展示立體+深度格式在HDMI上之傳送之一示意性表示，圖3展示根據本發明之一編碼器及根據本發明之一3D成像鏈中之一解碼器之一方塊圖，圖4展示根據本發明之解碼之一方法之一流程圖， 圖5A展示根據本發明之編碼之一方法之一流程圖，圖5B展示根據本發明之編碼之一替代方法之一流程圖，及圖5C展示根據本發明之編碼之一更替代方法之一流程圖。
應注意在不同圖式中具有相同參考符號之項具有相同結構特徵及相同功能，或係相同信號。已解釋此一項之功能及/或結構之地方，其無需在【實施方式】中重複解釋。
發明者觀察到可使用標準互聯/裝置界面格式(如HDMI、DVI及/或顯示埠)藉由將可用視頻訊框分割成用於視頻及深度之子影像將意欲用於多視角3D呈現之視頻及相關聯深度資訊傳輸至自動立體顯示器。
由於通常在裝置界面上使用之影像資訊經設計以能夠攜載R、G及B資訊之至少8位元樣本(即，每像素24位元)，且與一像素相關聯之深度通常不需要每像素全24位元，故子影像中之傳輸頻寬未經最佳使用。
為此原因，發明者較佳以使深度資訊被編碼在此等子影像之亮度樣本中之此一方式傳輸子影像中之深度資訊，使得意欲增強及/或引導視圖產生程式之元資料可儲存在深度子影像之色度樣本中。(其係在其中儲存深度子影像之影像資訊中。)
本發明應用自一HDMI(或類似)裝置界面接收視頻及深度輸入信號之自動立體顯示器。本發明同樣應用具有一HDMI、DVI、顯示埠或其他裝置界面且將支援提供給一視頻及基於深度之3D格式之媒體播放器、機上盒、手持/行動裝置、平板電腦、個人電腦等。
HDMI係用以將視頻及音頻自內容源(媒體播放器、機上盒及其他內容源)傳輸至接收裝置(顯示器、TV、AV接收器)之前導界面格式。HDMI標準原始經界定以支援視頻解析度達到全HD解析度(1920x1080 及2048x1080)，已將支援限制為2160p(亦稱作4K)解析度(諸如，3840x2160及4096x2160)且期望在標準之一將來版本中對4K格式具有更廣泛支援。
最新可用HDMI規範係版本1.4b。顯著地，版本1.4a已支援2視圖立體形式之立體視頻內容之傳輸；即，使用一立體對之左及右影像。此外，存在傳輸一左影像及相關聯深度(亦稱作2D+深度或影像+深度)之一選項。
除視頻及音頻之外，HDMI可藉由所謂資訊訊框(InfoFrame)傳輸一有限量之標準控制及組態資料。顯著地，存在主要由個人電腦使用之替代視頻(裝置)界面，諸如DVI及顯示埠。
對於多視角三維(3D)影像成像，裝置較佳接收具有相關聯深度資訊及元資料之一或多個視圖。
視頻及深度之各種壓縮格式當前正在研製，尤其係藉由ITU-T(VCEG)及ISO/IEC(MPEG)。此等壓縮格式亦支援不需要解碼程序但可對經解碼影像之最佳可能呈現有益之補充增強資訊(SEI)之包含。
然而，與習知視頻之情境相反，預見特定言之對於自動立體顯示裝置，基於影像之成像之部分將藉由自動立體顯示裝置進行以能夠支援各種專屬顯示裝置實施方案。因此，與習知2D視頻中之情境相反，對將成像相關之元資料傳輸至自動立體顯示裝置存在一更大需要。特定言之，由於預見一壓縮串流中之SEI元件可含有資訊以在自動立體顯示裝置處改良成像程序。
本發明藉由利用2160p視頻樣本傳輸具有對應深度及補充資訊(元資料)之達到兩個全HD視頻視圖解決所提及之問題。為實現此目標，2160p視頻訊框被再分成4個象限(子影像)，各含有下列四個成分之一者：左視圖視頻訊框(L)、右視圖視頻訊框(R)、L之深度及R之深度。在深度子影像中，僅亮度成分用於深度。色度成分用於補充資訊。
簡而言之，先前技術解決方案通常對基於影像之成像提供較差支援；即，更特定言之看起來對更先進/精細深度映射資料存在不足支援，且看起來對提供元資料以提高/改良視角成像之程序存在一大致缺少。
本發明係關於用於(例如)在獨立媒體播放器(包含廣播接收器/解碼器及行動裝置)與顯示裝置(即，裝置界面)之間傳輸視頻、深度及元資料之互連格式。此一互連格式之一實例係HDMI。其他實例係DVI及顯示埠。本發明亦關於一裝置內(例如)在雙絞線(LVD)上之子成分之間之視頻互連。
取決於源內容，互連格式可含有具有一相關聯深度或視差映射(2D+深度)之一單一視圖視頻成分，或具有一或兩個額外深度成分(立體+深度)之兩個視頻視圖。
如熟習此項技術者將清楚，深度大致上與視差成反比，然而深度之實際映射對顯示裝置中之視差取決於各種設計選擇，諸如，可藉由顯示器產生之視差之總量、分配一特定深度值至零視差之選擇、所容許交叉視差之量等。然而，使用具有輸入資料之深度資料以一深度相依方式翹曲影像。因此，此處視差資料性質上被解釋為深度資料。
如上文對2D+深度所指示，已界定一選用格式用於HDMI 1.4b中(及1.4a，自www.hdmi.org部分可用於下載)之漸近視頻。立體+深度不可在HDMI 1.4b中傳輸，其係因為每秒可傳輸之像素之數目之限制。為此，需要一更高速度，如期望可用於HDMI之一將來修訂中，下文稱作為HDMI 2.0。
若2D+深度在界面上被傳輸，則紋理及深度屬於相同(L或R)視圖。在立體情況下，兩個紋理視圖與一左眼視圖(L)及一右眼視圖(R)具有一固定關聯。在該情況下，兩個深度視圖與兩個紋理視圖具有一固定關係。若在立體情況下，兩個深度視圖之一者不在經編碼位元串 流中呈現，則HDMI格式中之相關深度全部設定為零，且適當傳訊被包含在補充資訊中(元資料)。如上文所指示，此元資料被包含在深度像素之色彩成分中。
在HDMI 1.4a規範之Annex H中已界定一選用2D+深度格式。接收裝置可通過EDID資訊中之HDMI VSDB指示對格式之支援。對於2D+深度(或「L+深度」)，3D結構所有4位元應設定為1。見表格H-7之「高解析度多媒體界面規範版本1.4a，3D傳訊部分之摘要」。自源傳訊至接收器應通過一HDMI商家特定資訊訊框藉由根據表格H-2設定3D結構場為0100(L+深度)進行。此選項僅可用於漸近視頻，較佳藉由VIC編碼16(1080p60)或31(1080p50)。
注意，儘管HDMI係指如L+深度之此格式，然而，取決於包含在元資料中之資訊，2D視頻成分可與左或右視圖相關聯。在已在HDMI 1.4b中界定之項上，元資料應被包含在深度像素之色彩成分中以傳訊用以傳輸視頻+深度及補充資訊之特定格式。
HDMI 2.0支援比HDMI 1.4b更高像素時鐘頻率且包含以高達60Hz之訊框速率對2160p格式(3840 x 2160及4096 x 2160解析度)之支援。2D+深度及立體+深度格式可經封裝在2160p漸近訊框中以跨HDMI 2.0界面攜載資料。
2160p格式可與藉由HDMI界定之RGB或YCBCR像素編碼模式之任一者一起組合。對於更高訊框速率，僅YCBCR 4：2：0像素編碼模式係可用選項。
下列訊框封裝組態(模式)係HDMI 2160p格式可如何用以傳輸視頻+深度之實例：
A.漸進2D+深度
B.交錯2D+深度
C.漸進立體+深度
D.交錯立體+深度
在該等模式之任一者中，各作用線含有一單一線之視頻(紋理)像素，其後跟隨相等數目之相關聯深度像素，一起充滿作用線。模式在元資料中被指示，其自第一作用線之第一深度像素開始被編碼在深度像素之色彩成分中。
圖1及圖2中描繪用於四種模式之各者之紋理及深度子影像在作用HDMI訊框內之封裝。
紋理子影像具有係兩個2160p HDMI視頻格式(即，1920或2048像素)之一者中之作用線之水平解析度之一半之一水平解析度。
在漸進模式中，紋理子影像具有1080線之一垂直解析度，即，係2160p HDMI視頻格式之垂直解析度之一半之一垂直解析度。
在交錯模式中，紋理子影像具有540線之一垂直解析度，即，係2160p HDMI視頻格式之垂直解析度之一四分之一之一垂直解析度。
在YCBCR 4：2：2及4：2：0像素編碼之情況下之取樣位置較佳係根據AVC規範(見ISO/IEC 14496-10：2012之區段6.2，資訊技術，視聽物件之編碼，部分10：先進視頻編碼)。
深度子影像具有1920或2048像素之一水平解析度，即兩個2160p HDMI視頻格式之一者中之作用線之水平解析度之一半。
在漸進模式中，深度子影像具有一1080線之一垂直解析度，即2160p HDMI視頻格式之垂直解析度之一半。
在交錯模式中，深度子影像具有540線之一垂直解析度，即2160p HDMI視頻格式之垂直解析度之一四分之一。
深度子影像含有在自0至255之範圍中之深度值，包含藉由元資料指示之一含義。
在YCBCR像素編碼之情況下，深度值應儲存在Y成分中。C成分應設定為0，除非其等含有元資料。接收裝置僅應取決於針對深度之 Y成分值。
在RGB 4：4：4像素編碼之情況下，深度值應儲存在R成分中。G及B成分應設定為與R成分之值相同，除非其等含有元資料。接收裝置僅應取決於針對深度之R成分值。
或者，在RGB 4：4：4像素編碼之情況下，深度值應儲存在G成分中。R及B成分應設定為零值，除非其等含有元資料。接收裝置僅應取決於針對深度之G成分值。
在每成分8個以上之位元被使用之情況下(若訊框速率及HDMI TMDS時鐘容許)，深度值儲存在Y成分之最顯著位元中。
元資料通道含有訊框及元資料之格式指示。此通道包括包含於自各訊框中之第一深度線中之第一深度像素開始，自下一線之深度像素繼續所需要多之線以輸送資料之深度像素中之一序列位元組。元資料通道位元組當在YCBCR像素編碼模式之一者中時儲存在深度子影像之C成分中，且當在RGB 4：4：4像素編碼模式中時儲存在G及B成分中。在每成分8個以上位元可用之情況下(若訊框速率及HDMI TMDS時鐘容許)，元資料通道位元組儲存在成分之8個最顯著位元中。
下列表格1中展示元資料位元組在各種像素編碼模式下至成分之映射。
表格1，元資料位元組至成分之映射
元資料被包含在各訊框中，無論元資料內容中是否存在一改變。如此做之優點係當針對該訊框之資訊已經傳輸時可能存取容許成像開始之一各訊框基礎上之元資料。因此，無論(例如)針對各訊框、各場、各組圖像，及/或各場景之元資料中是否存在一改變，元資料均可經重複嵌入。
元資料通道可被組織為一封包序列，如表格2中所示。
元資料通道封包語法繼而可如表格3中所提議。
元資料通道包含一序列64位元組元資料通道封包。包含於序列中之封包之數目取決於待傳輸之元資料之量。為改良穩健性，元資料被傳輸三次。元資料通道之所有位元組在最後之元資料通道封包之後被設定為0。因此，儘管元資料中不存在改變，然而此處元資料可被 重複嵌入。
各64位元組封包藉由一4位元組標頭開始，其後接著一56位元組有效負載及一4位元組錯誤偵測碼(EDC)。實際元資料被包含於有效負載場中。
封包識別資料根據表格4識別封包之內容。
顯然，封包類型資料容許一裝置接收視頻串流來以一更有效方式處置元資料。有效地，封包類型資料0xF3尤其指示若此資料經正確接收在先前訊框中，則接著可忽略當前元資料。
特定言之，由於用於成像中之元資料在一點可係訊框精確的且可經固定用於若干其他訊框，故此資訊可尤其有利於實施一更有效元資料控制處置。
若封包識別資料之最不顯著位元設定為1(即，封包識別資料設定為0xF1或0F3)，則封包子碼根據下文表格指示當前訊框之訊框封包組態。在所有其他情況下，封包子碼經保留用於將來使用且設定為0。
封包元資料類型識別哪個類型之元資料被包含在此封包之有效負載中。元資料類型係指可發源於包含於如藉由ITU-T或ISO/IEC標準化之經編碼位元串流(例如，一AVC或HEVC位元串流)中之補充增強資訊(SEI)之補充資訊之類型。元資料類型亦可關於由源裝置產生之元資料之一類型。
封包計數指示在具有相同封包元資料類型之此封包之後之封包之數目。
注意-最後的封包含有0之一封包計數值。
封包有效負載()攜載包含於元資料通道中之總封包有效負載位元組串流之56位元組。
一訊框之總封包有效負載位元組串流被包含於封包之一連續串流中且含有(例如)如表格6中呈現之資料序列(在2個類型之元資料之情況下)：
填充位元組設定為0x00。一或多個填充位元組在相同類型之最後元資料位元組之後被包含於位元組串流中以朝向端部(若需要)填滿封包有效負載。只要封包有效負載位元組串流中之位元組之數目不係複數個56位元組，則前文中之相關表達之表述為真。
保留元資料位元組()表示可在將來界定之額外元資料。此額外資料應被包含於增大值之元資料類型中且可能包含於填充位元組中(若需要將元資料與元資料通道封包對準)。
封包EDC係含有在封包之第一60位元組上計算之一錯誤偵測碼之一4位元組場。此EDC使用如在IEEE 802.3及ITU-T V.42中界定之標準CRC-32多項式。初始值及最終XOR值皆為0。
元資料之本質
如經由視頻資料信號傳送之元資料將藉由一多視角成像裝置用於深度映射處理或針對進一步視點成像一或多個視圖中。此元資料係內容相依的。元資料係根據實際視頻資料提供。因此，其可根據實際視頻資料(例如)按場、按訊框、按圖像組，及/或按場景改變。此元資料係固有動態的，且不類似(例如)僅指示影像或深度資料被呈現在視頻資料之一二維矩陣之一區段中之一標頭係靜態的。視情況，元資料包括下列至少一者： -進行用於基於影像之成像的編碼一較佳成像方向之元資料；-指示影像資訊與深度資訊之間之關係之元資料；-用於至一目標顯示器之深度映射或視差映射之重新映射之元資料。
現提供此等元資料之各種實例。
用於基於影像之成像之元資料可(例如)係關於用於基於影像之成像的編碼一信號中之一較佳成像方向之諸如WO2011039679中所揭示之元資料。此文件揭示一種編碼一視頻資料信號之方法，該方法包括提供如自一第一視點可見之一場景之第一影像、提供成像資訊(諸如，一深度映射)以啟用如自一成像視點看之場景之一經成像影像之至少一者之產生；及提供一較佳方向指示符，其相對於第一視點界定成像視點之一較佳定向；及產生包括表示第一影像、成像資訊及較佳方向指示符之經編碼資料之視頻資料信號。
較佳成像方向資訊係內容相依之元資料，但此外係需要藉由進行實際視角成像之裝置使用之元資料，該裝置在一自動立體顯示裝置之情況下通常本身將係顯示裝置以容許裝置製造者製造以產生最佳可能顯示裝置。
或者，元資料可指示影像資訊與深度資訊之間之關係，諸如PCT申請案WO2010070545(A1)中所揭示。再者，編碼在串流中之資訊取決於實際內容且可藉由自動立體顯示裝置使用以進一步改良成像；(例如)在立體+深度內容之情況下，瞭解深度資訊是否係自立體內容導出及/或深度資訊是否源自人力援助的創作可係有益的。在後者情況下，通過使用(例如)一跨雙側升頻濾波器之影像援助升頻，而非基於立體內容之視差估計將低解析度深度映射與一較高解析度版本一起組合來進行增大一低解析度深度映射之解析度可係更有利的。
更或者，所提供元資料可係如(例如)PCT申請案WO2010041176 中所揭示之用於至一目標顯示器之一深度映射或視差映射之重新映射之元資料。
此深度/視差重新映射係不僅係內容相依之一程序，且此資料之處理且係顯示裝置相依的。因此，此視差傳輸資料係較佳與內容本身一起以一壓縮格式提供之資料。例如，視差傳輸可嵌入在如自一儲存裝置或資料載體讀取，或自一有線/無限網路接收之壓縮內容中。且因此其被作為元資料添加且被傳送至造就視角成像之裝置。
參考圖3，圖3展示根據本發明之一編碼器及根據本發明之在一3D成像鏈中之一解碼器之一方塊圖。
在圖式中之左上方，可見編碼器310。編碼器310係用於一多視角成像裝置之一視頻資料信號50之一編碼器。編碼器310包括經配置以擷取與一第一視點相關聯之一場景之一第一影像10之一第一擷取單元301、經配置以擷取與第一影像10相關聯之一深度映射20之一第二擷取單元302，及經配置以擷取藉由多視角成像裝置用於深度映射處理或針對進一步視點成像一或多個視圖之元資料30之一第三擷取單元303。編碼器310進一步包括經配置以產生一視頻資料信號50之一產生器304，視頻資料信號50包括：基於第一影像10之一或兩個子影像、基於深度映射(20)之一或兩個進一步子影像，及編碼在一或兩個進一步子影像中之元資料(30)。
通過此申請案，考量藉由一編碼器之資料之擷取包含自一外部源接收資料、藉由編碼器裝置擷取資料或藉由編碼器裝置產生資料。
較佳地，自深度映射20之資訊被編碼在一或兩個進一步子影像之亮度值中，且自元資料30之資訊被編碼在一或兩個進一步子影像之色度值中。
更佳地，包括在視頻資料信號中之資訊包括具有各自子影像安置於其中之一實質上未壓縮二維資料陣列。
一旦視頻資料信號50被編碼，其可藉由處置器70處置，該處置器70可替代地將視頻資料信號50儲存在一儲存媒體71上，其可係一硬碟、光碟或一非揮發性記憶體儲存器，諸如一固態記憶體。然而，實際上更可能藉由處置器70在一有線網路72或無線網路73或其兩者之一組合(未顯示)上傳輸資料。
因此，視頻資料信號將到達解碼器350處以解碼一視頻資料信號50，解碼器包括一接收器351，其經配置以接收視頻資料信號50。在此階段，視頻資料信號包括與一第一視點相關聯之一場景之一第一影像10、與第一影像10相關聯之一深度映射20，及用於深度映射處理或成像多個視圖中之元資料30。因此，視頻資料信號通過一解多工器352，解多工器經配置以解多工視頻資料信號50以獲取至個別成分之存取。
此外，解碼器350至少包含經配置以依據元資料30處理深度映射20之一深度映射處理器353或一成像單元354之一者，成像單元經配置以成像一或多個視圖或其兩者。應呈現其等之至少一者以使本發明能夠在元資料之處置上提供一優點。
更視情況地，解碼器350亦包含一多視角立體顯示單元356。此顯示單元可係一基於隔板或基於雙凸透鏡之多視角顯示裝置，或額外視圖需經成像用於其之多視角顯示裝置之另一形式。
在已使用解多工器352解多工資料之後，元資料被通過控制處理器355用於元資料之進一步處置。
轉向圖5，圖4展示一種根據本發明之編碼的方法之一流程圖。該流程圖描繪用於一多視角成像裝置的編碼一視頻資料信號50之程序，該方法包括提供與一第一視點相關聯之一場景之一第一影像10之一步驟401、提供與第一影像10相關聯之一深度映射20之一步驟402，及提供403藉由一多視角程序裝置用於深度映射處理或針對進一步視 點成像一或多個視圖之元資料30之一步驟403。該方法進一步包括產生404一視頻資料信號50之一步驟404，視頻資料信號50包括基於第一影像10之一或兩個子影像、基於深度映射20之一或兩個進一步子影像，及編碼在一或兩個進一步子影像中之元資料30。
如上文所指示，較佳地，自深度映射20之資訊被編碼在一或兩個進一步子影像之亮度值中，且自元資料30之資訊被編碼在一或兩個進一步子影像之色度值中。
更佳地，包括在視頻資料信號中之資訊包括具有各自子影像安置於其中之一實質上未壓縮二維資料陣列。
現轉向圖5，圖5展示一種根據本發明之解碼之方法之一流程圖。該流程圖示意性地展示解碼一視頻資料信號50之程序，該方法包括接收視頻資料信號50之一步驟501。如上文參考圖3描述，視頻資料信號包括與一第一視點相關聯之一場景之一第一影像10、與第一影像10相關聯之一深度映射20，及用於深度映射處理或成像多個視圖之元資料30。
該方法進一步包括解多工502視頻資料信號50以獲取至個別成分之存取之一步驟502。在解多工之後，元資料經檢查以判定應如何進行進一步處理。在對依據元資料30之深度映射處理存在一需要之情况下，程序繼續步驟503；即，依據元資料30之深度映射20之深度映射處理503。
或者，當不需要深度映射處理時，在步驟504處，程序繼續依據元資料(30)針對進一步視點成像(504)一或多個視圖。最終，視情況新的經成像視圖用於實際使用一多視角立體顯示裝置顯示經成像視圖之步驟505中。
顯然，圖5B及圖5C提供根據本發明之解碼之一方法之進一步實施例，其中圖5B展示其中未提供元資料用於深度處理之一實施例； 即，其中元資料僅用於控制成像程序之一案例。由於不存在基於元資料之深度處理，故自流程圖消除此步驟。
同樣地，圖5C展示其中未提供元資料用於成像程序但其中常常提供元資料用於深度處理步驟之一實施例。在此案例中，包含依據元資料30之視角成像之步驟504由不使用元資料30之一視角成像步驟之步驟504’代替。
應瞭解本發明亦延伸至電腦程式，尤其在一載體上或在一載體中經調試以將本發明付諸實施之電腦程式。程式可係源編碼、目的碼、一編碼中介源及目的碼(諸如局部編譯形式)之形式，或適用於實施根據本發明之方法之任何其他形式。亦應瞭解此一程式可具有許多不同建築設計。例如，實施根據本發明之方法或系統之功能性之一程式碼可再分成一或多個副常式。
熟習此項技術者將明白描述此等副常式中之功能性之許多不同方式。副常式可一起儲存在一可執行檔案中以形成一自含型程式。此一可執行檔案可包括可執行指令，例如，處理器指令及/或解譯器指令(例如，Java解譯器指令)。或者，一或多個或所有副常式可儲存在至少一外部庫檔案中且(例如)在運行時間靜態或動態地與一主程式鏈接。主程式含有至副常式之至少一者之至少一呼叫。再者，副常式可包括至彼此之功能呼叫。關於一電腦程式產品之一實施例包括對應於所闡述方法之至少一者之處理步驟之各者之電腦可執行指令。此等指令可再分成副常式及/或儲存在可靜態或動態地鏈接之一或多個檔案中。
關於一電腦程式產品之另一實施例包括對應於所闡述系統及/或產品之至少一者之方法之各者之電腦可執行指令。此等指令可再分成副常式及/或儲存在可靜態或動態地鏈接之一或多個檔案中。
一電腦程式之載體可係能夠攜載程式之任何實體或裝置。例 如，載體可包含一儲存媒體(諸如，一ROM，例如一CD ROM或一半導體ROM)，或一磁性記錄媒體(例如，一軟式磁碟或硬碟)。此外，載體可係可經由電或光學纜線或藉由無線電或其他構件輸送之一可傳輸載體(諸如一電或光學信號)。當程式被嵌入在此一信號中時，載體可由此纜線或其他裝置或構件構成。或者，載體可係其中嵌入程式之一積體電路，積體電路經調適以執行或用於相關方法之效能。
應注意上文提及之實施例圖解說明而非限制本發明，且熟習此項技術者將能夠在不脫離隨附申請專利範圍之情況下設計許多替代實施例。在申請專利範圍中，放置在括號之間之任何參考符號不應被解釋為限制申請專利範圍。使用動詞「包括」及其變形不排斥除一請求項中陳述之該等元件或步驟之外之元件或步驟之出現。一元件前置之冠詞「一」或「一個」不排除複數個此等元件之出現。可藉由包括若干不同元件之硬體，及藉由一合適程式化電腦實施本發明。在列舉若干構件之裝置請求項中，此等構件之若干者可藉由硬體之一且相同項具體實施。僅在互相不同的獨立請求項中敘述特定措施之事實不指示此等措施之一組合不可有利使用。
10‧‧‧第一影像
20‧‧‧深度映射
30‧‧‧元資料
50‧‧‧視頻資料信號
70‧‧‧處置器
71‧‧‧儲存媒體
72‧‧‧有線網路
73‧‧‧無線網路
301‧‧‧第一擷取單元
302‧‧‧第二擷取單元
303‧‧‧第三擷取單元
304‧‧‧產生器
310‧‧‧編碼器
350‧‧‧解碼器
351‧‧‧接收器
352‧‧‧解多工器
353‧‧‧深度映射處理器
354‧‧‧成像單元
355‧‧‧控制處理器
356‧‧‧多視角立體顯示

Claims (22)

  1. 一種用於一多視角成像裝置的編碼一視頻資料信號(50)之方法，該方法包括：提供(401)與一第一視點相關聯之一場景之一第一影像(10)，提供(402)與該第一影像(10)相關聯之一深度映射(20)，提供(403)藉由該多視角成像裝置用於下列各項中之元資料(30)：深度映射處理或針對進一步視點成像一或多個視角，產生(404)該視頻資料信號(50)，該視頻資料信號(50)包括分割成子影像之視頻訊框，該等子影像包括：基於該第一影像(10)之一第一子影像，基於該深度映射(20)之一第一深度子影像，及編碼在該第一深度子影像之一色彩成分中之該元資料(30)。
  2. 如請求項1之編碼之方法，其中：將該視頻資料信號配置成亮度及色度值，且將該深度映射(20)編碼在該第一深度子影像之該亮度值中，且將該元資料(30)編碼在該第一深度子影像之該色度值中；或將該視頻資料信號配置成R、G及B成分，且將該深度映射(20)編碼在該第一深度子影像之該等R、G及B成分之一第一成分中，且將該元資料(30)編碼在該第一深度子影像之該等R、G及B成分之一進一步成分中。
  3. 如請求項1或2之編碼之方法，其中包含於該視頻資料信號中之該視頻訊框包括具有該等各自子影像安置其中之一實質上未壓縮二維資料陣列。
  4. 如請求項1或2之編碼之方法，該方法進一步包括：在一界面上使用一或多個位元串列資料線將該視頻資料信號傳輸(405)至該多視角成像裝置。
  5. 如請求項1或2之編碼之方法，其中該元資料嵌入在該視頻資料信號(50)中：用於各場，用於各訊框，用於各組圖像，及/或用於各場景。
  6. 如請求項1或2之編碼之方法，其中該元資料具有一總和檢查碼。
  7. 如請求項1或2之編碼之方法，其中無論該元資料中是否存在一改變，該元資料均被重複嵌入。
  8. 如請求項1或2之編碼之方法，其中該元資料包括指示該元資料是否自該先前訊框起已改變之資訊。
  9. 如請求項1或2之編碼之方法，其中該方法進一步包括：提供(401)與一第二視點相關聯之一場景之一第二影像(210)，提供(402)與該第二影像(210)相關聯之一第二深度映射(220)，且其中產生該視頻資料信號(50)，其進一步包括包含：基於該第二影像(210)之一第二子影像，基於該第二深度映射(20)之一第二深度子影像，且在該視頻資料信號(50)中。
  10. 一種視頻資料信號，該視頻資料信號(50)用於一多視角成像裝置中，該視頻資料信號包括：與一第一視點相關聯之一場景之一第一影像(10)， 與該第一影像(10)相關聯之一深度映射(20)，藉由該多視角成像裝置用於下列各項中之元資料(30)：深度映射處理或針對進一步視點成像一或多個視角，該視頻資料信號(50)包括分割成子影像之視頻訊框，該等子影像包括：基於該第一影像(10)之一第一子影像，基於該深度映射(20)之一第一深度子影像，及編碼在該第一深度子影像之一色彩成分中之該元資料(30)。
  11. 如請求項10之視頻資料信號，其如根據請求項2至9之方法之任一者進一步產生。
  12. 一種資料載體，其包括請求項10或11之任一者之一非暫時性形式之視頻資料信號。
  13. 一種解碼一視頻資料信號(50)之方法，該方法包括：接收(501)該視頻資料信號(50)，該視頻資料信號包括：與一第一視點相關聯之一場景之一第一影像(10)，與該第一影像(10)相關聯之一深度映射(20)，藉由該多視角成像裝置用於下列各項中之元資料(30)：深度映射處理或針對進一步視點成像一或多個視角，該視頻資料信號(50)包括分割成子影像之視頻訊框，該等子影像包括：基於該第一影像(10)之一第一子影像，基於該深度映射(20)之一第一深度子影像，及編碼在該第一深度子影像中之該元資料(30)。解多工(502)該視頻資料信號(50)以獲取至該等單獨成分之存取 及自該第一深度子影像之一色彩成分取回該元資料(30)，執行下列步驟之至少一者：依據該元資料(30)深度映射處理(503)該深度映射(20)，或依據該元資料(30)針對進一步視點成像一或多個視圖。
  14. 如請求項13之解碼之方法，該方法進一步包括用於解碼如使用請求項2至9之任一者之方法產生之该等視頻資料信號之任一者之步驟。
  15. 一種用於解碼一視頻資料信號(50)之一解碼器(350)，該解碼器包括：一接收器(351)，其經配置以接收該視頻資料信號(50)，該視頻資料信號包括：與一第一視點相關聯之一場景之一第一影像(10)，與該第一影像(10)相關聯之一深度映射(20)，藉由該多視角成像裝置用於下列各項中之元資料(30)：深度映射處理或成像多個視圖，該視頻資料信號(50)包括分割成子影像之視頻訊框，該等子影像包括：基於該第一影像(10)之一第一子影像，基於該深度映射(20)之一第一深度子影像，及編碼在該第一深度子影像中之該元資料(30)。一解多工器(352)，該解多工器經配置以解多工該視頻資料信號(50)以獲取至該等個別成分之存取及自該第一深度子影像之一色彩成分取回該元資料(30)，及下列各項之至少一者：一深度映射處理器(353)，其經配置以依據該元資料(30)處 理該深度映射(20)，或一成像單元(354)，該成像單元經配置以依據該元資料(30)成像一或多個視角。
  16. 如請求項15之一解碼器，該解碼器進一步包括用於顯示該經成像之一或多個視圖之一多視角立體顯示單元(356)。
  17. 如請求項15或16之任一者之一解碼器，其進一步經配置以解碼如使用請求項2至9之任一者之方法產生之該等視頻資料信號之任一者。
  18. 如請求項15至16之任一者之一解碼器，其中該解碼器包括用於處置該元資料處理之一控制處理器(355)，且其中該控制處理使用指示該元資料是否自該先前訊框起已改變之資訊以判定是否進一步處理該元資料。
  19. 一種電腦程式產品，其包括用於使一處理器系統執行根據請求項1至9之任一者之方法之指令。
  20. 一種電腦程式產品，其包括用於使一處理器系統執行根據請求項13至14之任一者之方法之指令。
  21. 一種用於一多視角成像裝置之一視頻資料信號(50)之編碼器(310)，該編碼器包括：擷取單元(301)，其經配置以擷取與一第一視點相關聯之一場景之一第一影像(10)，擷取單元(302)，其經配置以擷取與該第一影像(10)相關聯之一深度映射(20)，擷取單元(303)，其經配置以擷取藉由該多視角成像裝置用於下列各項中之元資料(30)：深度映射處理或針對進一步視點成像一或多個視角， 產生器(304)，其經配置以產生該視頻資料信號(50)，該視頻資料信號(50)包括分割成子影像之視頻訊框，該等子影像包括：基於該第一影像(10)之一第一子影像，基於該深度映射(20)之一第一深度子影像，及編碼在該第一深度子影像之一色彩成分中之該元資料(30)。
  22. 如請求項21之一編碼器，該編碼器進一步經配置以編碼如使用請求項2至9之任一者之方法產生之一信號。
TW103116629A 2013-05-10 2014-05-09 用於多視角成像裝置的編碼視頻資料信號之方法 TWI644559B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361821754P 2013-05-10 2013-05-10
US61/821,754 2013-05-10

Publications (2)

Publication Number Publication Date
TW201501509A true TW201501509A (zh) 2015-01-01
TWI644559B TWI644559B (zh) 2018-12-11

Family

ID=50829228

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103116629A TWI644559B (zh) 2013-05-10 2014-05-09 用於多視角成像裝置的編碼視頻資料信號之方法

Country Status (8)

Country Link
US (2) US9826212B2 (zh)
EP (1) EP2995082B1 (zh)
JP (1) JP6266761B2 (zh)
CN (1) CN105165008B (zh)
BR (1) BR112015026131A2 (zh)
RU (1) RU2667605C2 (zh)
TW (1) TWI644559B (zh)
WO (1) WO2014181220A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI574547B (zh) * 2015-11-18 2017-03-11 緯創資通股份有限公司 立體影像的無線傳輸系統、方法及其裝置
US10991144B2 (en) 2016-07-29 2021-04-27 Sony Corporation Image processing apparatus and image processing method

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP6140709B2 (ja) * 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
EP4296963A3 (en) 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US10090949B2 (en) * 2013-07-22 2018-10-02 Samsung Electronics Co., Ltd. Transmitting apparatus and receiving apparatus, and signal processing method thereof
WO2016004240A1 (en) * 2014-07-03 2016-01-07 Mobiledirect, Inc. Interactive distributed multimedia system
JP6862830B2 (ja) * 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6512575B2 (ja) * 2015-03-03 2019-05-15 芳隆 大吉 三次元形状情報の配信または放送の方法
US10616617B2 (en) * 2015-04-23 2020-04-07 Lg Electronics Inc. Method and apparatus for transmitting or receiving broadcast signal
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US11184602B2 (en) 2017-02-13 2021-11-23 Sony Corporation Image processing apparatus and image processing method
EP3429210A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing Methods, devices and stream for encoding and decoding volumetric video
US10929987B2 (en) 2017-08-16 2021-02-23 Nvidia Corporation Learning rigidity of dynamic scenes for three-dimensional scene flow estimation
WO2019055389A1 (en) * 2017-09-15 2019-03-21 Interdigital Vc Holdings, Inc. METHODS AND DEVICES FOR ENCODING AND DECODING THREE DEGREES OF FREEDOM AND VOLATILE COMPATIBLE VIDEO STREAM
EP3474562A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
CN109803134A (zh) * 2017-11-16 2019-05-24 科通环宇（北京）科技有限公司 一种基于hdmi***的视频图像传输方法及数据帧结构
CN109803135A (zh) * 2017-11-16 2019-05-24 科通环宇（北京）科技有限公司 一种基于sdi***的视频图像传输方法及数据帧结构
US10720124B2 (en) * 2018-01-15 2020-07-21 Microsoft Technology Licensing, Llc Variable pixel rate display interfaces
CN111837392B (zh) * 2018-01-19 2024-07-23 交互数字Vc控股公司 处理点云
EP3547704A1 (en) * 2018-03-30 2019-10-02 Thomson Licensing Method, apparatus and stream for volumetric video format
WO2019193698A1 (ja) * 2018-04-04 2019-10-10 株式会社ソニー・インタラクティブエンタテインメント 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
US11516453B2 (en) * 2018-07-06 2022-11-29 Sony Corporation Information processing apparatus, information processing method, and program for point cloud sample processing
EP3629584A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Apparatus and method for generating and rendering a video stream
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
KR102127846B1 (ko) * 2018-11-28 2020-06-29 주식회사 카이 영상을 처리하는 방법, 영상을 재생하는 방법 및 그 장치들
CN111669567B (zh) * 2019-03-07 2024-03-29 阿里巴巴集团控股有限公司 多角度自由视角视频数据生成方法及装置、介质、服务器
FR3093884A1 (fr) * 2019-03-15 2020-09-18 Orange Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
CN110012310B (zh) 2019-03-28 2020-09-25 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置
KR102461919B1 (ko) 2019-04-01 2022-11-01 구글 엘엘씨 동적 깊이 이미지를 캡처 및 편집하는 기술
EP3959469A4 (en) * 2019-04-22 2022-12-28 LEIA Inc. TIME MULTIPLEXING BACKLIGHT, MULTI-VIEW DISPLAY DEVICE, AND METHOD
FR3096538A1 (fr) * 2019-06-27 2020-11-27 Orange Procédé et dispositif de traitement de données de vidéo multi-vues
WO2021015982A1 (en) * 2019-07-22 2021-01-28 Interdigital Vc Holdings, Inc. A method and apparatus for delivering a volumetric video content
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
JP2023509838A (ja) * 2019-12-27 2023-03-10 アリババ グループ ホウルディング リミテッド サブピクチャ分割情報をシグナリングするための方法及び機器
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2602091T3 (es) * 2005-06-23 2017-02-17 Koninklijke Philips N.V. Intercambio combinado de datos de imagen y relacionados
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
KR101143670B1 (ko) * 2007-08-20 2012-05-09 노키아 코포레이션 스트리밍된 데이터의 조직화 방법, 컴퓨터 판독가능한 저장 매체, 수신기 및 장치
KR101602904B1 (ko) 2008-10-10 2016-03-11 코닌클리케 필립스 엔.브이. 신호에 포함된 시차 정보를 처리하는 방법
TWI542190B (zh) * 2008-11-04 2016-07-11 皇家飛利浦電子股份有限公司 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統
EP2320667A1 (en) 2009-10-20 2011-05-11 Koninklijke Philips Electronics N.V. Combining 3D video auxiliary data
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
WO2010075726A1 (zh) * 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
KR20110011000A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
WO2011039679A1 (en) 2009-10-02 2011-04-07 Koninklijke Philips Electronics N.V. Selecting viewpoints for generating additional views in 3d video
US20110211634A1 (en) 2010-02-22 2011-09-01 Richard Edwin Goedeken Method and apparatus for offset metadata insertion in multi-view coded view
US9292940B2 (en) * 2011-04-28 2016-03-22 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
JP6140709B2 (ja) * 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
TWI594616B (zh) * 2012-06-14 2017-08-01 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
US9299195B2 (en) * 2014-03-25 2016-03-29 Cisco Technology, Inc. Scanning and tracking dynamic objects with depth cameras

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI574547B (zh) * 2015-11-18 2017-03-11 緯創資通股份有限公司 立體影像的無線傳輸系統、方法及其裝置
US10991144B2 (en) 2016-07-29 2021-04-27 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US10080010B2 (en) 2018-09-18
CN105165008B (zh) 2017-11-21
EP2995082B1 (en) 2016-11-30
US9826212B2 (en) 2017-11-21
TWI644559B (zh) 2018-12-11
JP2016524373A (ja) 2016-08-12
JP6266761B2 (ja) 2018-01-24
RU2667605C2 (ru) 2018-09-21
RU2015152815A3 (zh) 2018-03-27
US20160088281A1 (en) 2016-03-24
WO2014181220A1 (en) 2014-11-13
RU2015152815A (ru) 2017-06-16
EP2995082A1 (en) 2016-03-16
US20180035095A1 (en) 2018-02-01
BR112015026131A2 (pt) 2017-07-25
CN105165008A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
TWI644559B (zh) 用於多視角成像裝置的編碼視頻資料信號之方法
JP6721631B2 (ja) ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
USRE48413E1 (en) Broadcast receiver and 3D subtitle data processing method thereof
US11272159B2 (en) Method and device for transmitting stereo media content
JP6333226B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR101634569B1 (ko) 3ｄ 이미지 데이터의 전송
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
KR101630866B1 (ko) ３ｄ 이미지 데이터의 전송
US9578305B2 (en) Digital receiver and method for processing caption data in the digital receiver
US20100309287A1 (en) 3D Data Representation, Conveyance, and Use
US9596446B2 (en) Method of encoding a video data signal for use with a multi-view stereoscopic display device
KR20120036789A (ko) 입체화상 데이터 송신 장치 및 입체화상 데이터 수신 장치
KR20110129903A (ko) ３ｄ 시청자 메타데이터의 전송
US20140078248A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR20070041745A (ko) 비디오 정보를 전송하기 위한 시스템 및 방법
TW201108714A (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
US20130141534A1 (en) Image processing device and method
JP2015517236A (ja) 表示オブジェクトの表示位置を提供し、３次元シーン内の表示オブジェクトを表示するための方法および装置
JP2012099986A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法