TWI520566B - 在三維視訊上疊加三維圖形的方法及裝置 - Google Patents

在三維視訊上疊加三維圖形的方法及裝置 Download PDF

Info

Publication number
TWI520566B
TWI520566B TW098143436A TW98143436A TWI520566B TW I520566 B TWI520566 B TW I520566B TW 098143436 A TW098143436 A TW 098143436A TW 98143436 A TW98143436 A TW 98143436A TW I520566 B TWI520566 B TW I520566B
Authority
TW
Taiwan
Prior art keywords
video
information
superimposed
frame
video information
Prior art date
Application number
TW098143436A
Other languages
English (en)
Other versions
TW201043000A (en
Inventor
飛利浦 史蒂芬 紐頓
馬庫斯 約瑟夫 馬利亞 柯佛斯
丹尼斯 丹尼爾 羅伯特 約瑟夫 包利歐
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41718987&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI520566(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201043000A publication Critical patent/TW201043000A/zh
Application granted granted Critical
Publication of TWI520566B publication Critical patent/TWI520566B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

在三維視訊上疊加三維圖形的方法及裝置
本發明係關於一種解碼並輸出適用於三維(3D)顯示之視訊資訊的方法，該視訊資訊包括適用於在一2D顯示器上顯示的經編碼之主視訊資訊及用以實現三維(3D)顯示的經編碼之額外視訊資訊、疊加在該視訊資訊上的3D疊加資訊。
本發明進一步關於一種用於解碼並輸出適用於三維(3D)顯示之視訊資訊的裝置，該視訊資訊包括適用於在一2D顯示器上顯示的經編碼之主視訊資訊及用以實現三維(3D)顯示的經編碼之額外視訊資訊，該裝置經調適以將3D疊加資訊疊加在該視訊資訊上。
本發明係關於經由一播放裝置的3D視訊資訊及3D疊加資訊現場播放，該資訊待顯示在一具備3D能力之顯示器上。
用於顯現視訊資料的裝置已為人所熟知，舉例而言，例如用於顯現數位視訊信號的視訊播放器的DVD播放器、BD播放器或視訊轉換器。該呈現裝置通常被用作待耦合至例如一電視機的一顯示裝置的一源裝置。影像資料經由一適當的介面(例如HDMI)而從該源裝置被傳送。
關於該經編碼之視訊資訊串流，例如此可以編碼左及右(L+R)影像的已知立體格式編碼。或者，經編碼之視訊資訊串流可包括一2D圖像及稱為深度圖的一額外圖像(L+D)，其描述於2005年Wiley的Oliver Sheer之「3D Video Communication」第29至34頁。該深度圖傳達有關物件的2D影像深度資訊。該深度圖中灰階值指示該2D影像中相關聯像素之深度。藉由使用該深度圖之深度值及藉由計算所需的像素變換，一立體顯示器可計算立體所需的額外視野。該2D視訊+深度圖可藉由增加遮蔽(occlusion)資訊及透明資訊(DOT)而延伸。
目前在3D系統中，用於經由HDMI介面而將輸出視訊資料待傳送至3D顯示器的一已知解決方案係時間交錯，其中對應於左或2D資訊之圖框與右或DOT圖框相交錯。
已知，就2D視訊系統而言，例如視訊內容之分佈的應用格式及播放裝置支援該視訊頂部上的疊加或即時產生之圖形。疊加圖形係(例如)經由播放器裝置內部產生用於螢幕上顯示(SD)功能表，或接收(諸如字幕或其他圖形)。
但是，將該已知疊加模型延伸至3D系統產生用於即時產生之疊加圖形的繪圖常式之效能需求增加的問題。
本發明之一目的係提供一種解碼並輸出適用於3D系統的視訊資訊及疊加資訊。
為此目的，根據本發明之一第一態樣，在如首段中所述之方法中，該方法進一步包括：接收或產生待疊加在該視訊資訊上的三維(3D)疊加資訊；在一第一緩衝器中緩衝待疊加在該主視訊資訊上的該疊加資訊之一第一部分；在一第二緩衝器中緩衝待疊加在該額外視訊資訊上的疊加資訊之一第二部分；解碼該主視訊資訊及該額外視訊資訊並產生為一系列時間交錯視訊圖框，各輸出視訊圖框係主視訊圖框或額外視訊圖框；決定待輸出的一視訊圖框之一類型係一主視訊圖框或一額外視訊圖框；依據經決定的圖框類型將該疊加資訊之第一部分或第二部分疊加在待輸出的一視訊圖框上；輸出該等視訊圖框及該經疊加之資訊。
為此目的，根據本發明之一第二態樣，在首段中所述之裝置包括：輸入構件，該輸入構件用於接收待疊加在該視訊資訊上的三維(3D)疊加資訊；或產生構件，該產生構件用於產生待疊加在該視訊資訊上的三維(3D)疊加資訊；一解碼器，該解碼器用於解碼該主視訊資訊及該額外視訊資訊，該解碼器進一步經調適以產生一系列時間交錯的視訊圖框，各輸出視訊圖框係主視訊圖框或額外視訊圖框；用於接收或產生待疊加在該視訊資訊上的三維(3D)疊加資訊之構件；一圖形處理單元，該圖形處理單元包括一第一緩衝器，該第一緩衝器用以緩衝待疊加在該主視訊資訊上的該疊加資訊之一第一部分；及一第二緩衝器，該第二緩衝器用以緩衝待疊加在該額外視訊資訊上的疊加資訊之一第二部分；該圖形處理單元進一步包括一控制器，該控制器用以決定待輸出的一視訊圖框之一類型係為一主視訊圖框或一額外視訊圖框；一混合器，該混合器用以依據經決定之圖框類型將該疊加資訊之第一部分或第二部分疊加在待輸出之一視訊圖框上；一輸出構件，該輸出構件用以輸出該等視訊圖框及該經疊加之資訊。
本發明亦基於以下認識。由於各圖框之3D視訊輸出在不同視訊串流之間切換，所以不再簡單地用系統(該系統輸出對應於與右或DOT圖框交錯之左或2D資訊的圖框)中之3D視訊輸出複合3D疊加圖形。作為一實例，在時間T處該視訊平面可含有2D圖框，且在時間T+1處該視訊平面含有用於時間T處之圖框的伴隨深度資訊。需用在時間T處之視訊複合的圖形(2D圖形)與需用在時間T+1處之視訊複合之圖形(深度圖形或R圖形)大為不同。2D視訊播放器裝置中存在之圖形單元對於每一圖框用此等不同圖形精確地更新其圖形平面的圖框而言係不夠快速的。根據本發明之解決方案係在該圖形單元中實施兩個緩衝器。各緩衝器被指派為輸出視訊串流之一者。舉例而言，就2D+深度繪圖而言，可指派一緩衝器用於在2D圖框上之疊加圖形且可指派一緩衝器用於在深度圖框上疊加之圖形。類似地，就L+R而言，一緩衝器可用於在L圖框上之圖形疊加，且可指派一緩衝器用於在R圖框上之圖形疊加。此解決方案之優點係緩慢圖形從圖框精確疊加引擎處解耦合，使得處理需求明顯減少。
有利地，圖形控制單元進一步包括一控制器，該控制器經調適以在用於產生一疊加圖框的圖框頻率下複製該第一緩衝器中之一第一疊加圖框之部分或該第二緩衝器中之一第二疊加圖框之部分。當播放器裝置處置2D+DOT深度串流時，此實現藉由複製經緩衝圖框之相應區域而快速產生遮蔽資料。
在參考以下敘述中藉由實例所述之諸實施例並參考附圖的情況下，本發明之此等及其他態樣將變得顯而易見且將作進一步說明。
在諸圖式中，對應於已描述之元件的元件具有相同參考符號。
在圖1中顯示一種可實踐本發明的用於播放3D視訊資訊的系統1。該系統包括一播放器裝置10及一顯示器裝置11，其等經由一介面15通訊。該播放器裝置10包括負責用於接收並預處理待顯示之經編碼之視訊資訊串流的一前端單元12，及用於解碼、處理及產生待供應至輸出14之視訊串流的一處理單元13。該顯示器11包括用於從所接收呈現3D視野的一呈現單元。
就該經編碼之視訊資訊串流而言，例如此可以編碼之左及右(L+R)影像的已知立體格式編碼。或者，經編碼之視訊資訊串流可包括一2D圖像及稱為深度圖的一額外圖像(L+D)，其描述於2005年Wiley的Oliver Sheer之「3D Video Communication」第29至34頁。該深度圖傳達有關物件的2D影像深度資訊。該深度圖中灰階值指示該2D影像中相關聯像素之深度。藉由使用來自該深度圖之深度值及藉由計算所要的像素變換，一立體顯示器可計算立體所需的額外視野。該2D視訊+深度圖可藉由增加遮蔽資訊及透明資訊(DOT)而延伸。在一較佳實施例中，使用如EP 08305420.5(代理人檔案號碼PH010082)中所描述的包括增加遮蔽及透明之立體資訊及深度圖的一彈性資料格式，該 案以引用的方式包含於本文中。
就該顯示器裝置11而言，此可為利用可控制眼鏡來控制分別顯示於左眼及右眼之影像的一顯示器裝置，或者在一較佳實施例中，使用稱為自動立體顯示器的顯示器。已知有能在2D與3D顯示間切換的許多自動立體裝置，其等之一者係描述於美國US 6,069,650中。該顯示器裝置包括一LCD顯示器，該LCD顯示器包括主動可切換液晶雙凸透鏡。在自動立體顯示器內部處理中，一呈現單元16將經由介面15而從播放器10處接收的經解碼之視訊資訊轉換成顯示面板17之子像素上的多重視野及圖。適時注意到呈現單元16可常駐在該播放器裝置10內部的任一處，在此例中多重視野係經由介面發送。
就該播放器裝置10而言，此可經調適以從一光碟及諸如快閃的另一儲存媒體處讀取視訊串流，或經由諸如網際網路連接的有線或無線網路接收視訊資訊。一藍光(Blu-RayTM)播放器之一已知實例係由Sony公司出售的PlayStationTM 3。
若為BD系統，則進一步細節可發現於由the Blu-Ray Disc association出版的公用技術白皮書「Blu-ray Disc Format General August 2004」及「Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November,2005」(http：//www.bluraydisc.com)。
在下文中，當引用BD應用格式時，吾人明確引用美國專利申請案第2006-0110111(代理人檔案號NL021359)及由 the Blu-ray Disc Association出版的白皮書「Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM,March 2005」中所揭示的應用格式。
已知BD系統亦提供具網路連通性的一完全可程式化應用環境藉此實現使內容提供者建立互動內容。此模式係基於Java(TM)平台且以「BD-J」而為人所知。BD-J定義數位視訊廣播(DVB)之一子集，其係以ETSI TS 101 812而公用的多媒體家庭平台(MHP)規格1.0。
圖2繪示一已知2D視訊播放器(即一藍光播放器)的一圖形處理單元(處理單元13之部分)。該圖形處理單元配有兩個讀取緩衝器(1304及1305)、兩個預載緩衝器(1302及1303)及兩個切換器(1306及1307)。即使當正解碼主MPEG串流時該第二讀取緩衝器(1305)能夠向解碼器提供一未多工(out-of-Mux)視訊串流。該等預載緩衝器快取文字字幕、互動圖形及聲音效果(其等在按鈕選項或啟動後呈現)。即使當正解碼主MPEG串流時該預載緩衝器1303在電影播放開始之前儲存資料且供應呈現資料。
介於資料輸入與緩衝器間的此切換器1301選擇適當緩衝器以從讀取緩衝器或預載緩衝器之任意一者接收封包資料。在開始主電影呈現之前，將效果聲音資料(若其存在)、文字字幕資料(若其存在)及互動圖形(若預載的互動圖形存在)分別經由該切換器預載並被發送至各緩衝器。經由該切換器1301，該主MPEG串流被發送至主要讀取緩衝器(1304)且該未多工串流被發送至次要讀取緩衝器 (1305)。
圖3示意性顯示已知藍光(BD)系統中的視訊平面之複合。
如圖所示，呈現在視訊平面(31)上複合的圖形之兩個獨立完整圖形平面(32、33)。指派一圖形平面(32)為標字幕應用(呈現圖形或文字字幕)且指派另一平面(33)用以互動應用(HDMV或BD-J模式互動圖形)。
回到圖2，主視訊平面(1310)及呈現圖形平面(1309)及互動圖形平面(1308)係由相對應的解碼器供應，且該三個平面被一疊加器1311疊加並輸出。
圖4示意性繪示根據本發明之一種圖形處理單元(13)。此特定實例構成BD系統中已知圖形處理單元的一改良，但是本文所述之概念係可直接應用於視訊播放器中的所有圖形處理單元，因為多種類型的視訊播放器之解碼器模組係類似的。
為明確起見，將討論一圖形平面在主視訊平面上之疊加，但是此概念係可直接應用於疊加多個圖形平面。
就3D視訊而言，除2D視訊之外仍需被儲存並發送至正常藍光電影中之顯示的額外資訊。就立體3D而言，需將左視野及右視野二者發送至立體顯示器。接著該顯示器使用一特定技術確保觀看者僅左眼看見左圖像且僅右眼看見右圖像。達此目的之常用技術係快門眼鏡或偏光眼鏡。
自動立體顯示器需要一不同介面格式：2D+深度視訊格式。除該2D視訊之外，使用一額外視訊串流以發送深度資 訊。該顯示器在呈現階段組合該視訊串流並計算所得3D圖像。
就兩種3D技術而言，以一特定介面格式(其取決於該顯示器的類型)將2D視訊串流發送至顯示器係必需的。一可行介面格式將來自時間交錯之兩視訊的諸圖框發送至該顯示器。此意味著在時間T處發送來自一第一視訊串流(左或2D)之一圖框，且在時間T+1處發送來自第二視訊串流(右或深度)之一圖框。
如上所述之應用格式(例如藍光格式)支援在視訊頂部上之疊加圖形。疊加圖形係用於(例如)顯示建立一選擇功能表之字幕。藍光疊加圖形係從光碟讀取(呈現圖形及互動圖形)或即時產生(BD-J圖形、OSD顯示及以文字為主之字幕)。
依一時間循序之介面格式輸出視訊大幅影響用於即時產生之疊加圖形(尤其對BD-J圖形)的繪圖常式之效能需求。此係因為由於各圖框之視訊輸出在二個不同視訊串流之間切換，故不能再用視訊輸出簡單地複合該圖形平面。作為一實例，在時間T處該視訊平面可含有2D視野，且在時間T+1處該視訊平面含有用於時間T處之圖框的伴隨深度資訊。需待用在時間T處之視訊複合的BD-J圖形(2D圖形)與需待用在時間T+1處之視訊複合之BD-J圖形(深度圖形)大為不同。
一圖形處理單元(尤其是BD-J繪圖)對於每一圖框用此等不同圖形精確地更新其圖形平面的圖框而言係不夠快速的。根據本發明之解決方案係在該圖形單元中實施兩個緩衝器。各緩衝器被指派為輸出視訊串流之一者。舉例而言，就2D+深度繪圖而言，可指派一緩衝器用於在2D圖框上之圖形疊加且可指派一緩衝器用於在深度圖框上之圖形疊加。類似地，就L+R而言，一緩衝器可用於在L圖框上之圖形疊加，且可指派一緩衝器用於在R圖框上之疊加。此解決方案之優點係慢圖形從圖框精確疊加引擎處解耦合，使得處理需求明顯減少。
在圖4中，運行在一Java虛擬機器上之一Java應用程式41產生疊加資訊並將其發送至圖形處理單元(API)。注意到該疊加資訊之來源係不重要的，用於一圖形平面之此類疊加資訊可為來自光碟或OSD(螢幕上顯示)資訊的其他圖形。該圖形處理單元包括兩個緩衝器42及43。各緩衝器與一控制器(45)通訊，該控制器較佳地包括一圖框精確區域複製器。時序資訊從繪圖應用(41)及視訊解碼器(47)處被發送至圖形處理單元。基於所接收之時序資訊，根據哪一視訊圖框正被解碼至視訊輸出平面上(此經由來自視訊源處之時間資訊而得知)，該圖框精確區域複製器可接著複合正確的緩衝器至該圖形輸出平面上。藉由如此進行，該圖框精確區域複製器確保混合器將正確BD-J圖形複合在當前輸出的視訊圖框上(就2D+深度而言，此意味著當解碼一2D視訊圖框時2D圖形緩衝器被複製到圖形平面上，且當解碼一深度圖框時深度DOT圖形緩衝器被複製到該圖形平面上)。就L+R圖形而言，此確保L即時圖形被疊加在L圖框上且R即時圖形被疊加在R圖框上。
應注意的是，本發明可以使用可程式化組件的硬體及/或軟體實施。一種用於實施本發明的方法具有對應於參考圖1所闡明之呈現系統之處理步驟。雖然主要已藉由使用光學記錄載體或網際網路的實施例闡述本發明，然而本發明亦適用於任何影像處理環境、相似創作軟體或廣播設備。進一步之應用包含3D個人電腦(PC)使用者介面或3D媒體中心PC，3D行動播放器及3D行動電話。
注意到在此文件中之字詞「包括」除了所列示之元件或步驟以外不排除存在其他元件或步驟，，且在一元件前之字詞「一」或「一個」不排除存在複數個此類元件，諸請求項之範圍不受任何參考符號限制，本發明可藉由硬體及軟體二者而實施，且若干「構件」或「單元」可由相同類的硬體或軟體表示，且一處理器可在與硬體元件協力下實現一個或多個單元之功能。進一步言之，本發明不限於諸實施例，且其內含於上述各及每個新穎特徵或諸特徵之組合中。
1．．．系統
10．．．播放器
11．．．顯示器
12．．．前端單元
13．．．處理單元
14．．．輸出
15．．．通訊介面
16．．．呈現單元
17．．．顯示面板
31．．．主電影平面
32．．．呈現平面
33．．．互動平面
34．．．藍光系統
41．．．Java應用程式
42．．．緩衝器1
43．．．緩衝器2
44．．．圖框精確區域複製器
45．．．控制器/暫存器旗標
46．．．圖形平面
47．．．視訊源
48．．．混合器
1301．．．切換器
1302．．．預載緩衝器1
1303．．．預載緩衝器2
1304．．．讀取緩衝器1
1305．．．讀取緩衝器2
1306．．．切換器
1307．．．切換器
1308．．．互動圖形平面
1309．．．呈現圖形平面
1310．．．視訊平面
1311．．．疊加器
圖1示意性顯示一種部分可實踐本發明的3D視訊資訊接收及顯示系統。
圖2示意性顯示一種已知2D視訊播放器的圖形處理單元。
圖3示意性顯示已知藍光(BD)系統中的視訊平面之複合。
圖4示意性繪示根據本發明的一種圖形處理單元。
13．．．處理單元
41．．．Java應用程式
42．．．緩衝器1
43．．．緩衝器2
44．．．圖框精確區域複製器
45．．．暫存器旗標/控制器
46．．．圖形平面
47．．．視訊源
48．．．混合器

Claims (10)

  1. 一種解碼並輸出適用於三維(3D)顯示之視訊資訊的方法，該視訊資訊包括適用於在一2D顯示器上顯示的經編碼之主視訊資訊及用以實現三維(3D)顯示的經編碼之額外視訊資訊，該方法包括：接收或產生待疊加在該視訊資訊上的三維(3D)疊加資訊；在一第一緩衝器中緩衝待疊加在該主視訊資訊上的該疊加資訊之一第一部分；在一第二緩衝器中緩衝待疊加在該額外視訊資訊上的疊加資訊之一第二部分；解碼該主視訊資訊及該額外視訊資訊並產生為一系列時間交錯視訊圖框，各輸出視訊圖框係主視訊圖框或額外視訊圖框；決定待輸出的一視訊圖框之一類型係一主視訊圖框或一額外視訊圖框；依據該經決定之圖框類型將該疊加資訊之第一部分或第二部分疊加在待輸出的一視訊圖框上；輸出該等視訊圖框及該經疊加之資訊，其中該主視訊資訊係一左視訊圖框且該額外視訊資訊係一右視訊圖框。
  2. 如請求項1之方法，其中該疊加資訊係即時圖形。
  3. 如請求項2之方法，其中該即時圖形係由運行在一Java虛擬機器上之一Java應用程式產生。
  4. 如請求項2之方法，其中時序資訊係用於依據該經決定之圖框類型而控制將該疊加資訊之第一部分或第二部分疊加在待輸出之一視訊圖框上。
  5. 如請求項1之方法，其中該額外視訊資訊包括與該視訊資訊有關的深度資訊。
  6. 一種用於解碼並輸出適用於三維(3D)顯示之視訊資訊的裝置，該視訊資訊包括適用於在一2D顯示器上顯示的經編碼之主視訊資訊及用以實現三維(3D)顯示的經編碼之額外視訊資訊，該裝置包括：輸入構件，該輸入構件用於接收待疊加在該視訊資訊上的三維(3D)疊加資訊；或產生構件，該產生構件用於產生待疊加在該視訊資訊上的三維(3D)疊加資訊；一解碼器，該解碼器用於解碼該主視訊資訊及該額外視訊資訊，該解碼器進一步經調適以產生一系列時間交錯視訊圖框，各輸出視訊圖框係主視訊圖框或額外視訊圖框；一圖形處理單元，該圖形處理單元包括一第一緩衝器，該第一緩衝器用以緩衝待疊加在該主視訊資訊上的該疊加資訊之一第一部分；及一第二緩衝器，該第二緩衝器用以緩衝待疊加在該額外視訊資訊上的疊加資訊之一第二部分；該圖形處理單元進一步包括一控制器，該控制器用以決定待輸出的一視訊圖框之一類型係一主視訊圖框或一額外視訊圖框； 一混合器，該混合器用以依據該經決定之圖框類型將該疊加資訊之第一部分或第二部分疊加在待輸出之一視訊圖框上；輸出構件，該輸出構件用以輸出該等視訊圖框及該經疊加之資訊，其中該主視訊資訊係一左視訊圖框，且該額外視訊資訊係一右視訊圖框。
  7. 如請求項6之裝置，其中該疊加資訊係即時圖形。
  8. 如請求項7之裝置，其中該即時圖形係由運行在一Java虛擬機器上之一Java應用程式產生。
  9. 如請求項6之裝置，其中時序資訊係用於依據該經決定之圖框類型將該疊加資訊之第一部分或第二部分疊加在待輸出之一視訊圖框上。
  10. 如請求項6之裝置，其中該額外視訊資訊包括與該視訊資訊有關的深度資訊。
TW098143436A 2008-12-19 2009-12-17 在三維視訊上疊加三維圖形的方法及裝置 TWI520566B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP08172411 2008-12-19

Publications (2)

Publication Number Publication Date
TW201043000A TW201043000A (en) 2010-12-01
TWI520566B true TWI520566B (zh) 2016-02-01

Family

ID=41718987

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098143436A TWI520566B (zh) 2008-12-19 2009-12-17 在三維視訊上疊加三維圖形的方法及裝置

Country Status (14)

Country Link
US (3) US20110249757A1 (zh)
EP (1) EP2380357B2 (zh)
JP (4) JP2012513056A (zh)
KR (1) KR20110106371A (zh)
CN (1) CN102257825B (zh)
AU (1) AU2009329113B2 (zh)
BR (1) BRPI0917764B1 (zh)
CA (1) CA2747106C (zh)
ES (1) ES2640869T3 (zh)
MX (1) MX2011006496A (zh)
MY (1) MY158823A (zh)
RU (1) RU2537800C2 (zh)
TW (1) TWI520566B (zh)
WO (1) WO2010070567A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0917764B1 (pt) 2008-12-19 2021-03-16 Koninklijke Philips N.V. método de decodificação e envio de informação de vídeo adequado para apresentação tridimensional [3d] e dispositivo para decodificação e envio de informação de vídeo adequado para monitor tridimensional [3d]
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
WO2010151555A1 (en) * 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8724696B2 (en) * 2010-09-23 2014-05-13 Vmware, Inc. System and method for transmitting video and user interface elements
US8693687B2 (en) * 2010-10-03 2014-04-08 Himax Media Solutions, Inc. Method and apparatus of processing three-dimensional video content
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
TWI469086B (zh) * 2011-04-26 2015-01-11 Univ Nat Cheng Kung 利用紋理特徵之影像分割法
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10091495B2 (en) 2012-12-24 2018-10-02 Thomson Licensing Apparatus and method for displaying stereoscopic images
WO2014108741A1 (en) * 2013-01-09 2014-07-17 Freescale Semiconductor, Inc. A method and apparatus for adaptive graphics compression and display buffer switching
CN109996034B (zh) 2013-05-31 2021-06-08 佳能株式会社 客户端设备及其控制方法和记录介质
TWI512678B (zh) * 2013-10-02 2015-12-11 Univ Nat Cheng Kung 非暫態儲存媒體
WO2016192060A1 (en) * 2015-06-03 2016-12-08 Intel Corporation Low power video composition using a stream out buffer
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US11461953B2 (en) 2019-12-27 2022-10-04 Wipro Limited Method and device for rendering object detection graphics on image frames
CN117201834B (zh) * 2023-09-11 2024-06-21 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及***

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335029A (ja) * 1993-05-25 1994-12-02 Sony Corp 立体映像表示装置及び立体視の輻輳角の調整方法
DE19545356C2 (de) * 1995-12-05 1998-04-16 Deutsche Telekom Ag Vorrichtung zur Darstellung von Stereo-Videobildern
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
EP0931420A4 (en) 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
CN1183780C (zh) 1996-12-04 2005-01-05 松下电器产业株式会社 光盘再现设备及光盘记录方法
RU2157056C2 (ru) * 1998-02-03 2000-09-27 Логутко Альберт Леонидович Способ объемного телевидения
US6549201B1 (en) * 1999-11-23 2003-04-15 Center For Advanced Science And Technology Incubation, Ltd. Method for constructing a 3D polygonal surface from a 2D silhouette by using computer, apparatus thereof and storage medium
JP2001186515A (ja) * 1999-12-22 2001-07-06 Sanyo Electric Co Ltd 複数チャンネル信号の復号装置
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US20030103062A1 (en) 2001-11-30 2003-06-05 Ruen-Rone Lee Apparatus and method for controlling a stereo 3D display using overlay mechanism
KR100454194B1 (ko) 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR20050085459A (ko) 2002-12-10 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 기록 매체의 실시간 정보 편집
DK2369588T3 (en) * 2003-04-28 2015-06-08 Panasonic Corp Playback devices, playback method, recording medium, recording devices, recording method for recording a video stream and graphics with information about pruning of the graphics
US8531448B2 (en) 2003-05-28 2013-09-10 Sanyo Electric Co., Ltd. Stereoscopic image display apparatus, text data processing apparatus, program, and storing medium
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005039398A (ja) * 2003-07-17 2005-02-10 Funai Electric Co Ltd テレビ受信装置
US7529467B2 (en) 2004-02-28 2009-05-05 Samsung Electronics Co., Ltd. Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium
JP2008517343A (ja) * 2004-10-19 2008-05-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ アニメーション・ジャダー補償
JP4717728B2 (ja) * 2005-08-29 2011-07-06 キヤノン株式会社 ステレオ表示装置及びその制御方法
US7773864B2 (en) * 2005-08-29 2010-08-10 Sony Corporation Slicing interactive graphic data in disc authoring
TR201810139T4 (tr) * 2006-03-31 2018-08-27 Koninklijke Philips Nv Çoklu görünümler için etkili görüntü alıcısı.
US8711203B2 (en) * 2006-10-11 2014-04-29 Koninklijke Philips N.V. Creating three dimensional graphics data
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
CA2680724C (en) * 2007-03-16 2016-01-26 Thomson Licensing System and method for combining text with three-dimensional content
CN101415126A (zh) * 2007-10-18 2009-04-22 深圳Tcl新技术有限公司 一种产生三维图像效果的方法及数字视频装置
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
CA2729995C (en) * 2008-07-24 2015-12-22 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program
KR20110063615A (ko) † 2008-09-30 2011-06-13 파나소닉 주식회사 3ｄ 영상이 기록된 기록매체, 3ｄ 영상을 재생하는 재생장치 및 시스템 ｌｓｉ
BRPI0917764B1 (pt) 2008-12-19 2021-03-16 Koninklijke Philips N.V. método de decodificação e envio de informação de vídeo adequado para apresentação tridimensional [3d] e dispositivo para decodificação e envio de informação de vídeo adequado para monitor tridimensional [3d]
JP2011086515A (ja) 2009-10-16 2011-04-28 Konica Minolta Opto Inc Ｌｅｄ照明装置及びリフレクタ
MX2012004224A (es) * 2010-09-03 2012-05-22 Panasonic Corp Dispositivo de procesamiento de video, metodo de procesamiento de video, programa de computadora y metodo de distribucion.

Also Published As

Publication number Publication date
JP2015111833A (ja) 2015-06-18
CA2747106C (en) 2017-07-04
MY158823A (en) 2016-11-15
ES2640869T3 (es) 2017-11-07
US20110249757A1 (en) 2011-10-13
AU2009329113A1 (en) 2011-08-11
AU2009329113B2 (en) 2015-01-22
EP2380357A1 (en) 2011-10-26
CN102257825A (zh) 2011-11-23
MX2011006496A (es) 2011-07-13
EP2380357B2 (en) 2020-03-18
US20160353081A1 (en) 2016-12-01
KR20110106371A (ko) 2011-09-28
CA2747106A1 (en) 2010-06-24
BRPI0917764B1 (pt) 2021-03-16
RU2537800C2 (ru) 2015-01-10
US9918069B2 (en) 2018-03-13
TW201043000A (en) 2010-12-01
JP2020099045A (ja) 2020-06-25
JP6846130B2 (ja) 2021-03-24
JP2012513056A (ja) 2012-06-07
RU2011129788A (ru) 2013-01-27
JP2017022714A (ja) 2017-01-26
US10158841B2 (en) 2018-12-18
US20180176537A1 (en) 2018-06-21
BRPI0917764A2 (pt) 2016-02-23
WO2010070567A1 (en) 2010-06-24
EP2380357B1 (en) 2017-07-26
CN102257825B (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
TWI520566B (zh) 在三維視訊上疊加三維圖形的方法及裝置
JP5647243B2 (ja) ３ｄビデオと２ｄビデオとの間のスイッチング
US8503869B2 (en) Stereoscopic video playback device and stereoscopic video display device
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
EP2242262A2 (en) Data structure, recording medium, playback apparatus and method, and program
KR20110114583A (ko) 디스플레이 파라미터 설정들의 제어
JP5166567B2 (ja) 電子機器、映像データの表示制御方法、およびプログラム
JP2011146828A (ja) データ構造、記録装置および記録方法、再生装置および再生方法、並びにプログラム
JP2012090074A (ja) 再生装置及び再生方法
JP5641953B2 (ja) 電子機器、映像データの生成方法、およびプログラム
JP5362082B2 (ja) 電子機器、画像処理方法、及び画像処理プログラム
JP2013238975A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011114641A (ja) 記録装置、再生装置、立体映像記録再生方法、記録方法、及び再生方法