TW201004313A - Video signal with depth information - Google Patents
Video signal with depth information Download PDFInfo
- Publication number
- TW201004313A TW201004313A TW098118075A TW98118075A TW201004313A TW 201004313 A TW201004313 A TW 201004313A TW 098118075 A TW098118075 A TW 098118075A TW 98118075 A TW98118075 A TW 98118075A TW 201004313 A TW201004313 A TW 201004313A
- Authority
- TW
- Taiwan
- Prior art keywords
- strip
- sequence
- image
- depth
- color
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 29
- 239000000463 material Substances 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims 2
- 239000011257 shell material Substances 0.000 claims 1
- 230000006835 compression Effects 0.000 description 21
- 238000007906 compression Methods 0.000 description 21
- 238000005070 sampling Methods 0.000 description 18
- 230000008901 benefit Effects 0.000 description 7
- 230000000873 masking effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000237536 Mytilus edulis Species 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 101100409195 Salmonella typhimurium (strain LT2 / SGSC1412 / ATCC 700720) prgH gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000020638 mussel Nutrition 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Description
201004313 六、發明說明: 【發明所屬之技術領域】 本發明係關於一種具有深度資訊的視訊信號。本發明亦 關於用於產生具有深度資訊的視訊信號並呈現具有深度資 訊的視訊信號的方法及系統。 【先前技術】 自從引入顯示裝置起,一實際3D顯示裝置已成為許多人 的夢想。已深入研究將通往此一顯示裝置之許多原理。一 此類原理係僅基於雙眼視差的一 3 D顯示裝置。在該些*** 中,檢視者之左右眼感知另外視角並因此檢視者感知一 3D 影像。該些概念之一概述可見諸於書籍rStere〇 C〇mputer Graphics and Other True 3-D Technologies(立體電腦圖形及 其他真實 3D 技術)」’ D.F. McAllister (Ed.),Princeton University Press,1993。例如,快門鏡片可與(例如)一 CRT組合使用。若顯示奇數圖框,則針對左眼遮擋光且若 顯示偶數圖框,則針對右眼遮擋光。 顯示3D而不需要額外器具(諸如鏡片)之顯示裝置係名為 裸眼式立體顯示裝置。例如,已提出多檢視畫面裸眼式立 體顯示裝置。在US 6064424中所揭示之顯示裝置中,使用 一傾斜透鏡,藉此該透鏡之寬度係大於兩個子像素。依此 方式,存在數個彼此並排的影像且檢視者自由地左右移 動。在此項技術中已知其他類型的裸眼式立體顯示裝置。 為了在一多檢視晝面顯示裝置上產生一 3d印象須呈現 來自不同虛擬視點之影像。此要求提供多個輸入檢視畫面 140146.doc 201004313 或-些3D或深度資訊。此深度資訊可記錄,從多檢視畫面 相機系統產生或從習知2〇視訊素材來產生。為了從2〇視 訊產生深度資訊,可應用數種類型的深度提示:諸如來自 運動之結構、聚焦資訊、幾何形狀及動態遮蔽。較佳的係 產生-密集深度圖,即每像素—深度值。此深度資訊係隨 後用於呈現-多檢視畫面影像以給予檢視者—深度印象。 y 來實行。該些資料流係藉由三個通道來加以料 ^ 通道交換該等紅色值,即代表該等紅色值之位元序歹^該 第二通道交換該等藍色值而該第三通道交換該等綠色值。 - 儘管該等值三元組一般係串列交拖,伯方> ^ 一 甲幻又换,但資訊模型係使得一 • 狀數目的三元組―起形成—影像,意㈣料三元組具 有各別空間座標。該些空間座標對應於在表示影像之二維 矩陣内的該等三元組之位置。基於 、 匕RGB鏈路之標準之 範例係DVI(數位視覺介面)、HDMlf古、主把Λ 清晰度多媒體介面 及LVDS(低壓差動傳信)。然而,在 〇之情況下,隨同視 現有視訊連接係設計以交換影像序列。一般而言,該等 影像係在連接兩側(即發射器與接收器)處由二維像素值矩 陣來表示。該等像素值對應於亮度及/或色值。發射器與 接收器兩者瞭解f料之語義,即其共用相㈣f訊模型:、 -般而& ’在發射H與接收器之間的連接係適應於資訊模 型。此資料交換之-範例係一 RGB鏈路。在發射器與接收 器之背景下的影像資料係以包含以下值三元組之一資料格 式來儲存並處理:R(紅)、G(綠)AB(藍)H形成不同 的像素值。影像資料交換係藉由三個關聯但分離的資料流 第一 140146.doc 201004313 訊資料,還須交換深度相關資料。 WO 20〇6/137〇00 A1揭示一種組合交換影像資料及與與 像資料相關之另外資料(諸如深度資料)之太 貝针)之方法,該影像資 料係由影像資料元素之一第一二維矩陣來表示而該另外資 料係由另外資料元素之-第二二維矩陣來表示。該方法勺 含將該第一二維矩陣與該第二二維矩陣組合成資料元素2 -組合二維矩陣。然而,以上方法係相對於所提供:資: 略微受限並可能無法提供足夠的資訊用於準確呈現。、 【發明内容】 ° 較有利的係具有一種交換影像資料之改良方式。為了 佳地解決此關切,在本發明之一坌 ‘' 牡令知3之第一恶樣中,提供—種用 於產生表示來自一主檢視畫面二 —、再琢不之一信號的车 統,其包含: 、 -序列產生器,其用於產生一條帶序列該條帶序列定 ^來自該主檢視晝面之三維場景之表示之至少部分,各條 ▼:不-矩形影像資訊區域,其包含定義該矩形區域之— ^彩、-深度及-位置之資料元素,其中用於各條帶之色 衫及珠度貧料元素係導出自在該場景内的至少一物件之表 面輪廓資訊;該位置眘斗 ^ 、枓凡素係‘出在該主檢視晝面内的 Χ ,夕⑯件之$面輪冑資訊之位置且該條帶序列之至少 条▼表不選自在該場景内的該至少一物件之一遮蔽區域 或—侧區域的該至少—物件之表面輪廓f訊;以及 —信號產生器,其用於產生包含該條帶序列的一視訊信 號。 J40J46.doc 201004313 各條帶對應於在該主檢視畫面内的一矩形影像資訊區 域’因而一條帶可能對應於一單一像素、採取一線之形式 的 維像素陣列、或一二維像素陣列。因而,儘管一條 可對應於一矩形影像資訊區域,但由於包括深度元素,該 條帶所表示之實際資料可說明一三維結構。 由於該等條帶包含指示在該主檢視晝面内該矩形影像資
讯區域之位置的資料元素,更靈活地調適遮蔽或側區域資 汛成该視訊信號變得可能。可能供該系統使用的關於該場 景之部分的任何資訊均可***至此類條帶之一或多個者 内因為s亥等條帶包含指示色彩與深度的相似資料元素, 故可在很大私度上保存該信號之似視訊特性。因此,該些 二料元素可以在視訊編碼技術内已知的一方式來編碼。此 許解决反向相谷性問題。其還允許應用標準視訊壓縮方 法用於在條帶内所包含之資訊。 由於δ亥等條帶包含指示條帶位置之資料元素,其可能採 :在色彩、深度及位置之三元組内所包含之資料元素之形 二么在條▼之間或在一條帶内變動取樣密度變得容易。此 ^此在„亥視讯h號内包括用於遮蔽及/或側區域之影像資 舌fL。並且,可处m j此使用改良解析度來儲存平行於該主檢視畫
At、榀視方向罪近的一物件之該等部分。該些側區域可 此被遮蔽或在蝙碼用於該主檢視晝面之—習知 地定義。因卟 个τ平乂左 ’其中儲存該些部分所採取之改良解柄声可
用以#用μ·來s , 野W没J 面。 1側物件部分之改良復原來產生立體檢視畫 140146.doc 201004313 還可包括後區域之資訊以進一步增強該等立體檢視畫 面。後面區域之資訊還改良環視物件之可能性:場景可能 從極不同視角來檢視,例如以允許一檢視者虛擬穿過場 景。 如上所指示,一條帶定義在主檢視晝面内的一矩形影像 資訊區域,此處矩形區域應理解為包含包含二維區域、一 維區域及/或點的矩形區域。一二維區域之一範例係一矩 形等距樣本陣列,—維區域之一範例將係—維等距樣 本陣列。 應注意’儘管其係在主檢視畫面内的一矩形影像資訊區 域’但一條帶可能實際上包含比主檢視晝面内可見者更多 來自下面三維場景之資訊。此事實上係條帶表示之強度, 由於此額外資訊可在呈現一不同檢視晝面時變得可見。 一一維、以線為主的表示具有優點,即致能表示更多無 規則狀物件而無不必要的儲存損失。而一二維(即以多線 為主的表示)具有優點,即其致能條帶資料之改良壓縮, 由於可使用(例如)以區塊為主的壓縮方案來利用在一條帶 内的空間冗餘。 該等資料7G素可分組成包含色彩、深度及位置資料元素 之兀組。在以一且相同解析度來表示色彩及深度的情況 下,可使用一使用元組(76, z,p)之表示,其包含表示—像 素色彩資料元素之紅、綠及藍值、表示一像素深度資料元 素之一 2值及表示一像素位置資料元素之一p值。 在該深度資訊係以該色彩解析度之四分之一來次取樣並 140146.doc 201004313 表不的情況下’可使用一使用元組(破,咏,响,峨,w)之 表不t知此項技術者應清楚,使肖RGB資料元素僅係範 例性且可代替使用其他色彩資料元素,諸如YUV或次取樣 YUV (4:2:0)。在前述元組巾’一單一尸值與之值係用以指示 色彩與深度資訊兩者之位置,其中該等色彩及深度資料元 素之實際位置可導出自赠。當使用以線為主的條帶時, P值可表示相對於線開始沿線的一偏移。然而在多線條
之晴况下p值自身可表示一尤與少座標兩者或者一線 編號與相對於線開始的一偏移。
以上範例僅包含-單—赠用於所有座標。或者當頻寬 儲存係不甚關鍵時,可使用更多精細元組諸如: (峨,响,喊,紙,从_4,化), (响,响,响,rgb4,z,p_,p_pz), (gbu rgb2, rgb3, rgb4,z,prgbuPrgb2>p.p^(袖,峨,喊,执,从洲心卵),或 (rSb{, rgb2 , rgb3, rgb4, z, prgH, prgb2, ? ? 其中針對更多及/或針對所有個別色 供位置資訊。
Pz) 彩及深度 Ο) (2) (3) (4) (5) 資料元素提 素而:個用:深度資料元素。元、.(2)進而表示一=:、: 1中及;貧科70素係在兩線上散佈,且其中色彩取樣點 係在頂部線上,而取樣點3及4係在底部線上直接位於 下面。由於點】及3在其個別線内具有相同的偏移 」 讀此處足夠。該Μ組⑺及⑷進而不包含用於深度資料 J40146.doc 201004313 兀素的-早獨赠。在該等元組⑺及⑷中,用於深度資料 元素之P值係導出自該等色彩資料元素之P值。最後,元組 (5)允許完全控制在主檢視畫面内的矩形影像資訊區域内的 取樣點位置。 該信號可能分割成一第一元組子集,其表示對應於條帶 之樣本,該等條帶表示來自主檢視畫面之三維場景之一影 像及第—子集’其包含表示遮蔽及側區域資訊之條 ^由此,5亥第一子集之色彩資料元素可編碼成一第一資 料流而該第-子集之該等深度資料元素可編碼成一第二資 :流。:此方式’可實現相容於習知三維場景表示,諸如 : 朱度D玄遮蔽或側區域資訊之色彩、深度及位置資 料兀素進而可編碼於一單一串流或多個串流内。 —申π專利範圍獨立項定義本發明之另外態樣。中請專利 範圍定義有利具體實施例。 【實施方式】 一 j年來,不懈努力地發展3D顯示器及適用於驅動此類顯 ^貝料表不。裸眼式立體3D顯示器不要求檢視者佩戴 2眼鏡(諸如紅/綠鏡片),而是通常依賴於兩個以上的檢 /、允4使用者自由環視顯示的場景並感知深度, 因為 pQ p x 看見」3亥些不同檢視畫面之兩個檢視書 上由於顯不器可在顯示的檢視畫面數目上且還在其他屬 I·生(諸如其可描繪之深度範圍)上變動,需要一種獨立於此 类員差里次、々 ^ /、貝料格式。影像及深度格式已在MPEG-C部分3中 採用。 140146.doc 10 201004313 〜像及冰度格式係適用於具有適度深度範圍能力的 第上代3D顯tf g ’但需要延伸其以便允許更多環視及更少 :明的遮敝饭像。然而’遮蔽假像還可能在另外代3D顯示 益中發生’其將藉由使用—改良影像及深度格式來有利地 移除。
日圖1解說-種用於產生表示來自_主檢視畫面之一三維 場景之一信號1300的系統100與—種用於接收該信號並從 相同或另-視點來顯示該場景的顯示系統15()。該信號之 數個態樣係解說於圖10至15中,在系統100及150之說明中 將參考該等圖。系統100可能(例如)實施於一DVD主控系 統、-視訊廣播系統或一視訊編輯系統内。顯示系統150 可此係(例如)一電視機,例如一LCD顯示器或一電漿顯示 器。該顯示系統可能具有立體能力,例如組合快門鏡片。 如此項技術中已知,該顯示系統還可能係一裸眼式立體顯 示器,例如包含傾斜透鏡。該顯示系統還可能係—2D顯示 器。此一 2D顯示系統可能藉由旋轉顯示中的物件來提供一 3D印象。並且,可藉由20或31)顯示系統15〇來提供用以調 適視點之更精細自由度’從而允許使用者穿過場景。 圖10A示意性解說包含定位於一背景平面943前面的一立 方體944的一三維場景,該三維場景係沿箭頭941所指示之 一檢視方向從一視點成像,以下稱為主檢視畫面。由於箭 頭941係垂直於該背景平面與該立方體之前面,在針對此 主檢視晝面所感知之一二維影像中的該等像素將由對應於 背景平面S921、S922、S926及S927之部分的矩形影像資訊 140146.doc 201004313 區域與對應於遮蔽背景平面943之部分的立方體944之正面 的矩形區域S924所組成。應注意,對應於立方體944之側 的矩形影像資訊區域將不包含於此一二維影像内。圖1 0B 解說表示針對該主檢視晝面在圖1 0 A中所描述之三維場景 的一條帶序列。所描述的序列添加用於立方體944之側區 域的影像資訊,其不添加遮蔽資料,即立方體944所遮蔽 之背景平面943之資料元素。在圖1 0B中的條帶序列由7個 條帶 S921、S922 ' S923、S924、S925、S926 及 S297 所組 成。該條帶序列係基於如圖10A中由箭頭941所指示之檢視 晝面所觀察到的三維場景。該條帶序列對應於沿如圖1 0 A 中所示之一水平掃描方向左至右、頂部至底部的一掃描路 徑 942。 該等條帶S921及S927表示矩形影像資訊區域,其包含定 義背景平面943之部分之色彩及深度之資料元素,該等部 分在該二維影像中將分別在立方體944上面及下面。同樣 地,該等條帶S922及S925表示分別在立方體944左右的背 景平面943之部分的矩形影像資訊區域。沿掃描路徑942, 該等條帶S923及S925表示包含定義該立方體之兩側之色彩 及深度之資料元素的矩形影像資訊區域。 如序列產生器(104)所建立之條帶序列可用以直接產生 該信號,即以該掃描路徑所決定之次序這樣做的優點係, 需要用於呈現一線之影像資訊係相對密切接近地位於條帶 内。 而且,在該掃描方向上相鄰定位之條帶可藉由分割該條 140146.doc -12- 201004313 帶序列來加以群集,從而導致三個條帶序列係··對應於 S921之一第一序列、對應於該等條帶S922、S923、S924、 S925及S926之一第二序列及對應於條帶仍27之一第三序 列。该些條帶序列之每一者可相對於彼此來編碼使得僅需 要一水平偏移來指示其個別位置。然而,如在圖1 0B所看 見’此確貫暗示著來自背景平面943與立方體944之影像資 ' 訊將係交錯的。 色办、深度及位置資料元素可以三個或三個以上值元組 0' ·\ ν 之形式一起編碼於一且相同條帶内。或者,不同類型的資 料元素之母一者可編碼於個別串流内,由此解多工不同類 型的資料元素。依此方式,可獲得一信號,其更密切地相 似於習知影像及深度表示。 圖i〇c顯示允許以更密切匹配該影像及深度格式的一方 式來編碼身讯的另一表示。藉由重新組織來自圖1⑽之條 帶序列’可產生-信號,其中該等條帶係排序使得其一起 u 形成如從該主檢視畫面所感知之二維影像。事實上,來自 “ 該些條帶之資訊可組合成—新條帶931 ,其對應於如圖10Α 中所指示之視點及檢視方向所觀察的二維影像。包含來自 ' 該側區域之影像資訊的剩餘條帶將接著作為附加至條帶 • 931之—條帶923及8925序列來編碼於該信號内。 儘管為清楚起見,在以上範例中未編碼任何遮蔽資訊, 但一較佳具體實施例包含來自側區域與遮蔽區域之兩個影 像資訊。依此方式,不僅可針對不同檢視畫面更準確地呈 現物件之側,而且可使用適當影像資訊來填充去遮蔽區 140146.doc -13· 201004313 域。 以上範例在-背景平面前面包括—立方體,然而本發明 還可能應用於更複雜的三維場景,在此情況下,可能會發 生對於該矩形區域之某些區不存在任何可用的影像資訊的 情形。此可以各種方式來加以解決,諸如藉由添加用於該 等資料元素的一遮罩或透明度位元。 使用對應於覆盍多個視訊線之資料元素的矩形影像資訊 區域的條帶(以下多線條帶)的一優點係以此方式編碼的影 像資訊可以將像素間的空間冗餘考量在内的一方式來加以/ 壓縮。後者在使用一壓縮方案時特別有用,該壓縮方案使 用定址多個資料元素的一頻域變換,諸如一 8x8 DcT。 使用多線條帶之一另外優點係其允許使用不同取樣頻率 用於色彩資訊及深度資訊。可能(例如)以一第一解析度來 表示色彩資訊RGB並以一第二解析度來使用深度,例如以 該第一解析度之四分之一。 儘管使用多線條帶具有某些優點,但還可能使用包含一 單一視汛線之資料元素的條帶。其後,僅出於清楚起見, 將主要使用包含一單一視訊線之資料元素之條帶之範例來 進一步闡釋本發明。 圖11示意性解說具有視訊線1002之一視訊影像丨〇〇〇。用 於影像1000之各視訊線1〇〇2之資料1350可包括於如圖14中 所示之一視訊串流1 3〇〇内。傳統上,各線丨〇〇2係直接對應 於一顯示器之像素的一直線。在下面所說明之具體實施例 中’該些線係延伸以一高度靈活的方式來包括三維資訊。 140146.doc -14- 201004313 圖12A解說包含一物件11〇2與一背景11〇4之一三維場景之 一斷面1100的一俯視圖。欲產生的信號較佳的係含有用以 k罪近箭頭1106之方向的檢視方向呈現該場景之影像的資 訊。該視點可能遠離該場景且在圖中未顯示。斷面11〇〇對 應於在該呈現私序期間在一水平視訊線1 i 處變得可見 者。 系統100包含一輪廓產生器102,其用於產生在斷面1〇〇 内可見之物件之輪廓之至少部分。此一輪廓產生器可以此 項技術中已知的一方式來實施,例如使用運動深度演算法 或藉由使用一個以上相機來記錄場景並應用深度計算技 術。此類演算法可能無法重建完整的輪廓,尤其一物件 1102之後側11〇8可能在該等影像之任一者内不可見,且在 此一情況下該輪廓資訊之此部分可能不可用。並且,該場 景之其他部分可能因為其前面的其他物件而被遮蔽。當使 用更多相機位置來記錄該場景時,更多輪廓資訊可能變得 可用。在圖12B中的輪廓1154指示可供該系統使用的該等 輪廓1150之一範例。例如,僅物件11〇2之輪廓之部分丨丨54 可用於包括於該信號内。替代輪廓產生器丨〇2,可提供一 輸入用於從別處接收輪廓產生器1〇2所產生之資訊。 系統100進一步包含一序列產生器丨〇4,其用於產生—條 ▼序列,該條帶序列定義來自一檢視晝面之三維場景之表 示之至少部分。各條帶此處表示一矩形影像資訊區域,其 包含定義該矩形區域之一色彩、一深度及一位置的資料元 素。在此以線為主的具體實施例中,該矩形區域係視為具 140I46.doc -15- 201004313 有 負料元素的一高度。在节於^ 一 *廓上的取樣點使各種資料 兀素(堵如可能組織成元組之色彩、深度及位置)與其相關 聯。圖13中所示之所有取樣 畫面所呈現的視訊線则貝獻於如針對一特定檢視 大多數目前多檢視畫面顯示器呈現多個檢視畫面,盆中 用於該等檢視晝面之每一者的檢視方向僅在各別水平方向 上不同。由此,呈現影像-般可以一以線為主的方式來進 打。由此,視訊線1002較佳的係—水平視訊線。然 發明還可應用於在一垂直方向上定向的視訊線。 該些取樣點1202可選自在兮±日旦+ , J、目在=亥%景内的該等物件之輪 之複數個片段中。與該等取樣點相關聯之資料元素可 能對應於在對應輪廓點處物件輪廊之色彩指示以紅、綠及 藍(細)分量或習知此項技術者所已知之其他格式來表達 的一色彩。在期望—更靈活解決方案之情況下,可允許添 加另外貧訊,諸如一透明度資料元素,其可能係一二進制 或一多值資料元素’從而允許編碼透明或半透明物件。 該等資料元素還可能指示—深度12Q8。此1度可在由 處箭頭所指示之方向上表達為一座標’即提供關於至 視點之距離的資訊。如在此項技術中所已知,該深度還可 表達為-視差值。如表達的深度對應於一特定主檢視晝 面’其對㈣前述檢視方向咖。檢視方向讓此處與 (例如)'線t方向相關’該線平行於穿過視點與背景 1104之中心的-線。若相機位置係在該場景附近則該等 深度座標可能依據該場景投影至該背景上來對應於收敛方 I40I46.doc -16- 201004313 向。該等資料元素還可能指示在12 10處箭頭所指示之方向 上的一視訊線位置12 10。依據該主檢視晝面,此視訊線位 置1210指示在視訊影像1〇〇〇之視訊線1〇〇2内的—顯示位 置。 特別在處理不規則形成的形狀時,可能與明確編碼與所 有取樣點相關聯之位置及深度資料元素相關。依此方式, 可編碼相對於該輪廓的任何取樣點分佈。例如,資料元素 可能與在該輪廓表面上等距選取之取樣點相關,或可能相 對於一特定物件輪廓法線來等距地選取。或者,當編碼更 多規則多邊形結構時,可採用一更具效率位置編碼,例如 在一折線上使用一等距取樣格柵。 序列產生器104沿該等輪廓線115〇選擇連貫點。例如, 若該視訊線係一水平線,則選擇器1〇4可從左向右來選擇 該等連貫點。或者,該等點可能從右向左來選擇。選擇器 1〇4可能開始於該背景之最左部分1152,並向右前近直至 因為一物件在該背景前面而不存在任何資訊。接著,選擇 器104可能繼續物件之輪廓1154。該選擇器可能開始於輪 廓1154之最左端點,沿輪廓1154一直前進直至到達最右端 點,並從該處繼續下一物件,在此情況下其係該背景之剩 餘部分1156。 序歹j產生器104可能能夠在該條帶序列内包括一第一子 序列’其含有在1204附近的取樣點之資料元素,或選自一 又之取樣之連貝 > 料元素’該片段係在該主檢視畫面 内的該至少一物件11〇2之一側區域之部分。序列產生器 140146.doc 17 201004313 104可能亦包括一第二子序列,其含有在12〇6附近的取樣 點之資料元素,或選自一片段之取樣點之連貫資料元素, 該片段係在該主檢視晝面内的該至少一物件之一前面區域 之部分。在第一子序列1204之兩個連貫取樣點之視訊線位 置之間的差異係小於第二子序列丨2〇6之兩個連貫取樣點之 視訊線位置之間的一差異。依此方式,某些序列位置係使 用以一更高取樣頻率(以改良所呈現輸出之影像品質)或以 一更低取樣頻率(為了表示大小)所取樣的資料元素來表 示。 序列產生器1〇4可能配置用於包括元址,其指示在—條 帶内的一或多個透明資料元素1212以指示在不同條帶之間 的一連接。該些透明樣本1212輔助在一顯示系統15〇内呈 效率地呈現該條帶序列。例如,—特殊資心素可能包括 於該條帶或指示-件輪#是否透明的―資料元素元組内, 或者可ι保留-特定色值或—色彩範圍以指示「透明」。 ❹一範圍可能(例如)在信號隨後經歷有損壓縮時特別有 益。系統100進一步包含一信號產生器1〇6,其用於產生— 視則§號’該視訊信號包含在條帶序列1350内所包含之資 料元素。此信號產生器可能以任-形式來實施,只要適當 編碼該條帶序列即可。可利用數位信號編碼方法,諸: MPEGt準。可產生其他類比及數位信號(包括儲存信號與 傳輸信號)並鏗於此說明在習知此項技術者之所及範圍 内例如,《玄數位條帶序列可能直接儲存於在一磁碟或一 上的播案内。遠信號還可能經由衛星或(例如)有線 140146.doc -18· 201004313
可準備複數個各別條帶序列並併入用 或在像DVI或 入用於複數個各別視訊
系統100還允許包括來自在該主檢視畫 畫面中遮蔽及/或物 件之後面區域的一片段之樣本。 圖14示意性解說包含數個資料流的一輸送流。各水平列 表示在該輸送流内的一資料流。此類輸送流可藉由信號產 生器106來產生。或者,信號產生器1〇6僅提供該等資料流 用於由一多工器(未顯示)包括於一輸送流内。一區塊 表示對應於一視訊線的一條帶序列。在一線上的數個區塊 對應於用於一影像之不同視訊線的條帶序列。實作上,該 些資料區塊可能經歷壓縮方法’其可將該些區塊之多個者 組合成更大資料塊(圖中未顯示)。信號產生器1〇6所產生之 輸送流可能包含一第一資料流1 302,其包含指示該等條帶 之至少一第一子集之色彩的該等資料元素。而且,一第二 資料流1304可能包含指示該等條帶之至少第一子集之深度 的該等資料元素。因此,該等條帶之不同資料元素可在該 信號内單獨發送。此可能改良該等壓縮結果並有助於提供 反向相容性,因為作為深度及/或水平位置的額外資訊可 能在其係包括於與色彩資訊分離的一輔助資料流内時被舊 有顯示設備放棄。並且,色彩及/或深度可使用此項技術 140146.doc •19· 201004313 中所已知之方法來加以編碼,從而促使二維視訊編碼的發 展,亚允許再利用現有視訊編碼器與解碼器。 為了進—步改良壓縮比,信號產生器1〇6可配置用於對 齊在-第-條帶序列内的資料元素與在—第二條帶序列内 的該等資料元素’兩個序列均藉由***填充資料元素來與 該至y 一物件之一部分相關。例如考量其中該第—條帶 序列與-第-視訊線相關而該第二條帶序列與一相鄰視訊 線相關的情形。在此情況下’該等序列可能水平對齊使得 在該第-條帶相㈣資料元素號N具有與在該第二條帶 序列内的資料元素號N相同的水平位置。 當沿一掃描方向來編碼該條帶序列時,該條帶序列可藉 由该序列產生器以一資料流來編碼使得在該資料流内的空 間相鄰資料元素係在垂直於該掃描方向之—方向上對齊空 間接近資料元素。 第三資料流1306 ,其 。該些位置值可編碼 #號產生器106可能進一步產生一 包含該等條帶之至少第一子集之位置 成相對於-固定參考點(例如對應於—視訊影像之左側)的 位置值。較佳的係,連貫樣本之位置係表達為在該等連貫 樣本之視訊線位置之間的一德耳塔(差異)。在後者情況 下,省等值可使用運行長度編碼(一熟知無損壓縮技術)來 具效率地壓縮。然而,壓縮係可選,且在其中處理要求比 頻寬更關鍵的情形下,壓縮可能不必要。例如,壓縮可能 在使用一顯示介面(諸如DVI或HDMI)時不必要。在此一情 況下,相對於一固定參考點的該等德耳塔值或該等值可能 140146.doc -20- 201004313 以未麼縮方式來編碼,例如在該等色彩通道之兩者中例 如綠色與藍色通道,而深度可能編碼於一第三色彩通道 内,例如紅色通道。 圖15解說另—具體實施例,其_提供反向相容性。為此 目的,類似於參考圖⑽所說明之情形,—標物視訊圖 框係編碼於~第—串流内。此第-串流购可能相容 於售有2D顯示器。該等對應深度值係儲存於一第二串流 内第串桃1402與第二串流14〇4之組合可能相容於 可呈現影像及深度視訊資料之舊有3D顯示器。可省略用於 舊有2D影像的該等水平位置(如在_之第三串流· 内)’因為其係針對標準視訊圖框先驗已知。然而,除該 等串抓14〇2及14〇4外’在該等影像及深度串流1搬及1彻 内不存在的該條帶序列之該等部分係包括於一或多個額外 串流内。換言之,該條帶序列之至少一第二子集所表示之 資訊係編替—不同串流集内,其中該第-子集與該第二 子集係不相連的。該等串流可能與部分重疊點相關,例如 若-特定輪扉片段係以一不足夠解析度來表示於串流麗 及1404内(例如以靠近檢視方向之角度的一角度與一平面 相關的影像資訊),則該等額外串流可能提供該特定輪廊 片段之-更高解析度版本。例如,一另外争流包含該 條帶序列之至少第二子集之色彩,一另外串流剛包含該 條帶序列之至少篦二早隹+、拉+ ^ 千木之冰度’且一另外串流1412包含 該條帶序列之至少第二子集之水平位置。 還可摘取該育说之其他部分用於包括於一或多個反向相 140146.doc -21 · 201004313 奋串抓内例如’複數個影像及深度層或另一分 像(LDI)表示可能包枯认 度〜 匕括於—反向相容串流内;未包括於該 反向相容串流内的剩餘資訊及/或在一不滿意解析度下包 括於該反向相容串流内的剩餘資訊可能單獨包括。 …體實知例包含表示來自—主檢視晝面之—三維場景 的一信號1300,該_號4 ^ ^ . ’、 唬包含一條帶序列1350,其定義來自 該檢視畫面之三維場寻夕主_ 一 穷之表不之至少部分。各條帶進而表 示一矩形影像資訊區域,1 x其包含疋義一色彩、一深度1208 及一位置12 10的資料元| u、 、素,/、中用於各條帶之色彩及深产 資料元素係導出自在哕错旦 ^ 守《目㈣场景内的至少一物件之表面輪廓資 訊1102。該位置資料㈣係導出自在檢視晝面12G2内的至 少一物件之表面輪廓音 4叫獅郿貝戒之位置且該條帶序列之至少一 f 1204表示導出該至少—物株夕矣;认史八 物件之表面輪扉貧訊,其係選自 該場景内該至少-物件之一遮蔽區域或一側區域。’、、 一該條帶序列包含—第_資料元素條帶i2Q4,其係與選自 一=段之連貫點相關聯’該片段係在該主檢視畫面内的該 至少一物件之一遮蔽區域或一側區域之部分;及一第二連 貫資料元素條帶讓,其係選自H該片段係在該主 檢視畫面内的該至少一物件之一前面區域之部分。並且, 在該第-子序列之兩個連貫位置資料元素之水平位置之間 的一第—差異可能小於在該第二子序列之兩個連貫位置元 素之水平位置之間的一第二差異。 一參考圖】,顯示系統150包含一輸入152,其用於接收表 不如提出之-條帶序列的一信號。例如,顯示系統150可 140146.doc •22· 201004313 能藉由從一儲存媒體或經由—網路連接讀取此信號來接收 此信號。 顯示系統1 5 0進一步自合一旦〈榇方4 , ^ ^ 3衫像產生Is 154,其用於使用 :條帶序列來產生對應於立體檢視畫面之複數個影像。該 寻立體檢視畫面具有不同檢視方向;㈣應於相同三 維場景之不同檢視畫面。該等檢視畫面較佳的係水平分佈 :至少沿-水平方向。可按如下來產生該複數個影像之一 =像。首先’該等位置及深度資料元素係變換成與欲產生 影像之檢視方向及視點對應的視訊線位置及深纟。其次, 使用該些變換值來呈現—影像,纟中對於任_水平位置, ,而將不最靠近該視點之—位置的—深度值考量在内。 :際上’言亥i組序列在以線為主之條帶的情況下表示一或 多個3D折線或在以多線為主之條帶的情況下表示多邊形。 如此項技術中所知,該等折線可使用z緩衝來呈現。例 如’㈣條帶序列相關聯的該等資料元素可使用Z緩衝來 :一呈現。該等資料元素之確切呈現方式並不限制本發 該顯示系統可包含一用於顯示該複數個影像之顯示器 =6。顯示器156可能(例如)係一裸眼式立體傾斜透鏡顯示 ^ 5亥數個影像可以一交錯方式來在此一顯示器上呈現。 或者,兩個影像可時間順序地顯示,且快門鏡片可用於一 人頬的適當3D影像感知。其他種類之顯示模式(包括立體 顯不模式)係為習知此項技術者所知。複數個影像還可能 依序顯示於一3D顯示器或一2D顯示器上從而可: 140146.doc -23- 201004313 如交互式虛擬導覽穿 旋轉效果。立侦翻_旦/ 一他顯不影像的方式(例 過一場景)係亦可行。 圖2A解說在—種產生_視訊信號之方法中的處理步驟。 /驟〇中’起始該程序’例如在欲處理—新視訊圖框 時:在步驟202中,如所提出地準備在場景(包括背景)内的 該等物件之輪廓線。替代在該程序巾明確實行此步驟,步 驟202之、,、。果可作為該程序之—輸人來提供。 在步驟204中,產生一條帶序列135〇,其定義來自該主 檢視畫面之三維場景之表示之至少部分,其中各條帶表示 一矩形影像資訊區域,#包含定義—色彩、—深度12〇8及 一位置1210之資料元素。用於各條帶之色彩及深度資料元 素係導出自在該場景内的該至少一物件之表面輪廓資訊 1102。該等位置資料元素係導出自在主檢視晝面1202内的 該至少一物件之表面輪廓資訊之位置。而且,步驟2〇4可 能涉及在該條帶序列内包括一第一條帶12〇4,其包含選自 一片段之連貫點之資料元素’該片段係在該主檢視晝面内 的該至少一物件之一侧區域之部分。包含連貫點之資料元 素的一第二條帶1206可選自一片段,該片段係在該主檢視 晝面内的該至少一物件之一前面區域之部分。在該第一子 序列之兩個連貫位置資料元素之水平位置之間的一第一差 異可能小於在該第二子序列之兩個連貫位置元素之水平位 置之間的一第二差異。 可針對在該影像内的複數個視訊線重複步驟202及204。 在步驟206中,產生一視訊信號’其包括所得樣本序列或 140146.doc -24- 201004313 多個樣本序列。在步驟210中,該程序終止。如稍早所指 示,該方法可同樣應用於以線為主的條帶序列與以多線為曰 主的條帶序列。可按如下來實行步驟2〇2。接收如從複數 個不同檢視畫面所看見的至少一物件之複數個影像。針對 該複數個影像之像素建立深度資訊,或可作為額外輸入來 提供,例如使用-測距儀所決定的深度值。該第二檢視書 面之該等像素係歪斜至該主檢視晝面,使得針對該等像素 獲得依據該至少一物件之主檢視晝面來指示一深度與—水 平位置的資訊。這樣,獲得輪廓資訊。 圖2B解說一種在—顯示器上呈現一影像之方法。在步驟 250中,起始該程序,例如因為需要準備—新視訊圖框用 於顯示。在步驟252中,如所提出地接收包含-條帶序列 = 50)之-信號。在步驟254中,使用該條帶序列對應於立 體檢視畫面來產生複數個影像。在步驟2%中,如所提出 地顯示該複數個影像。
J 施本文中所說明之料及“可以軟體來部分或完全地實 圖3顯示在一背景芈 j 景千面5丽面具有三個物件丨、2及3 場景的一斷面俯視圓。告 件料平面5a:箭頭31G之方向上檢視該等物 、’、面5時,影像及深度格式將作為 素色彩與深度^為每像 m。可從!:卜矣-十★ 111 4干在401至4〇5處所指示之資 況了攸此表不來產生替代 角度下(在箭頭32〇所指干μα 仁田在不同檢視 深度表示不含有真正「:方向上)觀察場景時,該影像及 有真正%現」物件並看見變得可見者所必 I40146.doc -25- 201004313 而之Η訊’即所去遮蔽者,諸如在比該最初位置更向左之 位置查看時將變得可見的物件1之前面之右邊部分,或 可%在物件2與3之間從右邊查看時變得可見的背景之部 分0 圖5解說藉由使用多層影像及深度的此問題之一部分解 ’、” 列如’可使用兩層影像及深度。圖5在501至5 05 處顯不可忐針對本範例儲存於一第二層内的額外資訊。現 在可儲存物件1及3之完整前面側,但將要求三層亦以儲存 疋正者厅、另外,難以使用相對於一中央檢視畫面來使用 固疋水平間隔的一表示來界定該等物件(例如物件1及3) !並且’物件之後面側係不使用此表示來错存。儲存 j自多個檢視畫面之影像及深度可能係一解決方案,但接 著在壓縮深度信號下保持其關係完整係較困難並要求複雜 的計算,另外透明度係難以支援此一表示,除非使用許多 檢視晝面,或提供多層用於多個檢視畫面,其可能要求許 多層並因此大量儲存空間。 圖6解說種作為一種類懸垂物6 0 0來組織影像資料之方 ^。使用此-懸垂物6〇〇,可以一具效率且可縮放方式來 提供該場景之—輪廓說明ϋ垂物6GG打比方如同_ 床單般地表現,該床單係在該場景之物件丨至3及背景5周 圍懸垂。圖6顯示在懸垂物_係在該場景上鬆散懸垂 一組態。 懸垂物6 0 G說明沿在該場景内的該等物件之表面的輪靡 線。較佳的係此-輪廓線係完全在該場景之—斷面内。懸 140146.doc -26- 201004313
垂物600不僅包含位於該等物件之前側6〇2内的輪廓線之部 刀而且還包含物件1之左側601與物件2之左側以及物件3 之右侧603及物件2之右側。因此’與該影像及深度格式相 比,捕捉更多遮蔽資料。懸垂物6〇〇之一些部分含有影像 資料。此影像資料之範例係部分6〇1、6〇2及6〇3。懸垂物 600之其他部分係透明。一透明部分之一範例係部分61〇、 611、612及613。此一透明部分不要求大量的儲存空間。 例:,可全部略過此一部分。較佳的係,在該信號内*** 一指示以指示該懸垂物之一部分係透明。或者,當在懸垂 物之連續件之間的一距離超過一預定臨限值時,在懸垂物 之s亥專連續件之間的部分係設定至透明。 圖7解說可在該懸垂物表示中捕捉更多遮蔽資料。打比 方,該懸垂物可在該場景之該等物件周圍更緊密地擬合。 在圖7中,目前,懸垂物7〇〇係收緊使得橫過該等物件之完 整輪廓,從而在產生立體檢視畫面中提供最多靈活性。在 圖6及圖7之情形之間的中間收緊量係亦可行。 緊接該收緊量,還可變動沿該懸垂物儲存資訊所採取之 解析度以平衡資訊數量與儲存/傳輸容量。稍早所提及之 「透明」部分係此部分之一極端範例,但是還可能選取 (例如)以更低解析度來編碼該等物件之側(且尤其係該等物 件之後面)。該懸垂物接著可能由與等距或非等距點相關 聯的-系列資料S素所組成。該些資料元素可能包括關於 色彩且還可能關於透明度的資訊。視需要地,可包括額外 資訊以捕捉檢視畫面方向相依效果,諸如還可能包括雙向 140146.doc -27- 201004313 反射率分佈資料,以Μ χ <何其他相關資訊。該等樣本可能 具有相關聯座標(如該等圖中所示用於一懸垂物之X及Ζ, 在表不—完整卿像時心各線之_系列)。不同方法可 用以儲存S亥些系列。可能 時。 匕使用鏈碼,特別在使用無損I 缩 可為隨後水平懸垂物線保持垂直黏附。此允許實現較佳 的壓縮效能。例如’可單獨擷取或儲存常規影像及深度表 不,並可館存該懸垂物之額外件(其可***回至該等影像 及深度樣本内)作為額外資料。此確保向後相容於目前影 像及深度格式,並添加完整懸垂物資料作為一可選額外資 蚪而且該#規影像及深度表示可使用冑岁文能壓縮技術 來加以壓縮。在額外資料内的剩餘件可接著配置使得最大 化垂直黏附以獲得最佳壓縮。若該等懸垂物線對應於垂直 視訊線,則可以一相似方式來保持水平黏附。 懸垂物表不可由從不同位置查看該場景之數個相機之 影像(及可能深度)所構造,或可(例如)導出自藉由切斷— (虛擬)場景所獲得之一三維像素表示。從一懸垂物呈現— 榀視晝面可使用適當遮蔽及去遮蔽處置藉由一種深度相依 偏移之程序來實現。 在電腦圖形領域内’已知邊界表示,諸如M.m. Oliveira 等人的「Relief texture mapping(浮凸紋理映射)」,27屆電 腦圖形及交互技術年度研討會學報,第359至368頁, 2〇〇〇,ISBN 1-58113-208-5。該些電腦圖形表示通常性質 上極具幾何性(例如以網目為主),而該懸垂物可用於一似 140146.doc •28· 201004313 視訊表示中,其中不僅色妥; ^ 且深度可表示成可極佳壓 縮之視訊信號。 Ί & 還可使用本文中所說明之姓 乃之技術來編碼垂直去遮蔽 例如,一或或多個樣本序列 ° J J此具有垂直位置而不是盥苴 相關聯之水平位置。可替彳々「 /、Ζ' …此「“ 水平懸垂物線」或除其外來 … 懸垂物線」。或者,可使在連續樣本序列 之間的垂直間隔變動以調適視覺化一物件之一上部及/或 一下部邊緣。 人二「:垂物」可能說明為—條帶序列。該些條帶可能包 3 一色值、一水平位置值(例如在-主檢視晝面之—線上 :像=數目)、-深度值或視差值及/或—透明度指示符或 Μ月白’色杉不必用於-完全透明部分或可保留: 位2色值用於指示「透明」。將使用具有(幾乎或確⑷相同 位置Ρ’但不同d且適當色彩值之連續元組來說明具有 側法線靠近檢視方向的—
立方體之側。在彼此前面的物件 ° °亥懸垂物之-透明部分來加以連接。使用一 H 懸垂物」,在該懸垂物中僅說明物件之前表面與側表 收緊懸垂物」,在該懸垂物中還說明物件之後表 :二在許多情況下,存在—些側及後表面資訊,但並非所 。貝λ。该懸垂物可用以適應任何可用的資訊。不必為不 可用或在接收端處不需要的資訊浪費儲存空間。並且,不 必儲存冗餘資料。在使用多層之視訊編碼中,可在不存在 =夠資訊可用以填充所有層’甚至在壓縮之後亦如此時浪 費一些儲存空間。 140146.doc •29- 201004313 使用(例如)三個相鄰相機(一左、中及右相機)所拍攝之 相同場景之三個影像(一左、中及右影像),可將該三個影 像之資訊合併成m物。首先,可針對所有三個影 像重建深度圖。可運用涉及(例如)相機校準之立體計算。 此類計算係在此項技術中已知。接下來歪斜該等右及左 影像至中間影像之幾何形狀。出現於歪斜左影像、歪斜右 影像及中間影像内的表面可藉由_重疊或相鄰表面區域 來縫口在-起。接下來,該等懸垂物線可藉由從該些(歪 斜)影像點取樣或選擇來加以構造。 為了維持垂直-致性,可插人透明樣本。此改良在使用 已知壓縮技術時所獲得之壓縮比。 可以類似於使用ζ緩衝來呈現一 3D折線之一方式來實行 一懸垂物線之呈現。 〃表示該等懸垂物線之樣本序列可儲存於若干影像内。該 第一影像可能包含色彩資訊。還可能編碼該些分量(諸如 R G及Β或Υ ' υ及ν)之每一者作為三個單獨影像。如此 項技術中已知,還可將該等色彩轉換成(例如)可藉由次取 樣u及v來更佳壓縮之Υυν色彩空間。該第二影像可能包 含深度資訊。例如,此深度資訊可能藉由一座標或藉由視 差資訊來加以編碼。該第三影像可能包含水平座標:視訊 線位置,例如以全部像素來表達,或使用允許子像素精度 之一指示(例如—浮點值)。該些影像可使用標準視訊壓縮 來進步;$縮。較佳的係,含有該等χ座標的影像可以德 耳塔來表達.可儲存在連貫樣本之χ座標之間的差異而非 J40146.doc •30· 201004313 =等X座標之絕對值。此允許實行具效率的運行長度 壓縮。β亥些影像可儲存於單獨資料、流β。 ", =圭的係,反向相容性係藉由擷取具有可選深度資訊之 -:規2D影像來提供以單獨作為一習知視訊串流來 發达。該深度影像可作為—輔料流來添加。該等樣本^ 列之剩餘部分可儲存於-或多個單獨串流内。 包含-立方體8G1與—背景8G2之—場景。該場 .係使用三個相機位置810、811及812來加以捕捉。圖㈣ ::說使用左相機810所捕捉者。例如,左相機捕捉輪廓 片^^^^及卜而非輪摩片段卜以心 該等相機之兩者之影像資料可歪斜至該第三相機位置, 例如最左及最右相機可歪斜至中間相冑,從而改變該等歪 斜影像之像素之續。如同用於圖8中立方體物件之側表面 之情況,可能會發生數個像素具有相同的\值(但具有不同 的冰度值)。甚至可能,此一歪斜影像之X值係非單調,特 別在左相機看見在中間相機之檢視畫面甲位於一物件之一 後表面的一物件之一部分時。該些側及後部分可有效地儲 存於該元組序列(「懸垂物」)中,如此說明書中所說明。 儲存此類側或後部分所採取之解析度可取決於分配至在該 等可用檢視畫面内該側或後部分的像素數目。 圖9解說一種用於以軟體來實施本文中所說明之方法及 系統之部分的範例性硬體架構。還可使用其他架構。一記 憶體906係用以儲存包含指令之一電腦程式產品。該些指 令係由一處理器902來讀取並執行。一輸入9〇4係提供用於 140146.doc -31 - 201004313 使用者交互可能性,例如藉由-遙控器或一電腦鍵盤。此 可用以(例如)起始一影像序列之處 ^ ^ . ^ ^ 该輸入還可用以設 疋了組態參數,諸如深度感知數 之I日十奴產生的立體影像 产:如u⑨一視訊信號内的遮蔽資料之數量及解析 二:如•-顯示器912可有助於藉由提供—圖形使用者 以—使用者友善方式來實施交互可能性。顯示彻 ==;T!像:輪出影像及本”所說明之 進,令通广:了/像貧科交換係藉由一通信埠908來促 r埠可連接至—視訊網路(例如數位或類比、地 ==或有線廣㈣統)或網際網路。資料交換還可能科 ::卸除式媒體㈣(例如一 DVD驅動器或一快閃驅動: =解此類影像資料還可能儲存於區域記憶體_内: a,驻,本發明运延伸至調適用於實踐本發明的電腦程 始碼、目許载體上或内的電腦程式。該程式可採取原 編譯的形式)之开η /1的—碼(諸如部分 發明之方法之形禾取任何其他適用於實施依據本 實體或穿 ” 載體可能係任—能夠搭載該程式之 ^ 〇例如’該載體可包括一儲存媒體,諸士 臟(例如_cdrom或 4存媒體邊如― 體,例如-敕碟或辟坚^體麵),或一磁性記錄媒 體,例如—電=a丄另外’該載體可能係一可傳輸载 無線電或直P3 “學信號’其可經由電瘦或光纔或藉由 .…、構件來傳達。當該程式係在此一作浐^ $ 時,該載體可由并雔φ嫩 隹此七旎體現 者,該載體可能係H或其他裝置或構件來構成。或 '〜、〜入5玄程式的—積體電路,該積體 140146.doc -32· 201004313
電路係調適用於實杆义M … 貫仃相關方法或在其實行中使用。 一,上述具體實施例解說而 此項技術者應將能夠設計許多替代 ::且“ 專利範圍之料。在專利中請範圍中,置於括於 :何參考符號不應視為限制專利申請範圍。動詞「: 」變化詞語的使用並不排除存在除
::…元件或步驟外的元件或步驟。元件二 」或㈤」並不排除存在複數個此類元件。本發明 可能藉由包含數個不同元件的硬體並藉由-適當程式化電 腦來實施。在列舉數個構件的裝置請求項中,&中該此構 件之數個者可能藉由-或相同項硬體來體現。在彼此不同 的”專利範圍附屬項中所引述的某些度量的純粹事實並 不私不無法有利地使用該些度量之一組合。 【圖式簡單說明】 已參考圖式進一步闡述並說明本發明之該些及其他態 樣,其中 圖1係解說一種用於產生一視訊信號之系統與一種顯示 系統之態樣的一方塊圖; 圖2A顯示一種產生一視訊信號之方法之一流程圖; 圖2B顯示一種呈現一視訊信號之方法之一流程圖; 圖3解說在一場景内的物件; 圖4解說來自一主檢視角度可見之一場景之部分; 圖5解說在一主檢視晝面内遮蔽之一場景之部分之一第 二層; 140146.doc -33- 201004313 圖6解說可使用—條帶序列來捕捉的一場景之部分; 圖7解說可使用一條帶序列來捕捉的該場景之部分 一範例; 〇刀另 圖8解說一場景之數個檢視畫面; 圖9解說一硬體架構; 圖10A解說一三維場景及相機視點; 圖10B解說依據本發明之一條帶序列,政 之和像資讯係與代表前面檢視畫面影像之條帶交錯· 圖1 0 C解s兒依據本發明之一條帶序列,立2 中來自側p 0 之影像資訊係與代表前面檢視畫面影 】£域 豕早獨地編碼; 圖11解說一以線為主的視訊影像; 圖12 A解說沿一視訊線的一三維場景之—六 圖1 2 B解說沿一視訊線的輪麻線; 圖13解說沿一輪廓線的一點序列; 圖14解說一視訊串流;及 圖15解說另一視訊串流。 【主要元件符號說明】 1 物件 2 物件 3 物件 5 背景平面 100 系統 102 輪廓產生器/構件 104 序列產生器/構件 140146.doc u 201004313 106 信號產生器/構件 110 隨機存取記憶體 150 顯示系統 152 輸入 154 影像產生器 156 顯示器 600 懸垂物 601 物件1之左側/部分 602 物件之前側/部分 603 物件3之右側/部分 610 部分 611 部分 612 部分 613 部分 700 懸垂物 801 立方體 810 相機位置 811 相機位置 812 相機位置 902 處理器 904 輸入 906 記憶體 908 通信埠 910 可卸除式媒體 140146.doc -35- 201004313 912 顯示器 931 條帶 943 背景平面 944 立方體 1108 物件1102之後側 1202 取樣點/主檢視晝面 1212 透明資料元素/位置 1300 信號/視訊串流 1302 第一資料流 1304 弟二貢料流 1306 第三串流 1350 資料/條帶序列/區塊 1402 第一 _流/影像串流 1404 第二牟流/深度串流 1408 串流 1410 串流 1412 串流 S921 背景平面/條帶 S922 背景平面/條帶 S923 條帶 S924 矩形區域/條帶 S925 條帶 S926 背景平面/條帶 S927 背景平面/條帶 140146.doc -36-
Claims (1)
- 201004313 七、申請專利範圍: 1. 一種用於產生表示來自一主檢視晝面之一三維場景之一 Ί吕號(1300)的系統(1〇〇),其包含: 一序列產生器(104),其用於產生一條帶序列(1350), 該條帶序列定義來自該主檢視晝面之該三維場景之表示 之至少部分’各條帶表示一矩形影像資訊區域’其包含 定義該矩形區域之一色彩、一深度(12〇8)及一位置 (12 10)之資料元素,其中 用於各條帶之該等色彩及深度資料元素係導出自在該 場景内的至少一物件之表面輪廓資訊(1102); 邊位置資料元素係導出自在該主檢視畫面内的該至 少一物件之表面輪廓資訊之位置且 *亥條帶序列之至少一條帶(12〇4)表示選自在該場景内 、至V 物件之一遮蔽區域或一側區域的該至少一物 件之表面輪廓資訊;以及 k號產生器(106),其用於產生包含該條帶序列的 一視訊信號。 其中在各條帶内所包含之該等色料元素之元組。 2.如請求項1之系統其中§亥信號產生器係配置用於產生 140146.doc 201004313 一輸送流,該輸出串流包含: 一第-資料W),其包含該條帶序狀至少—第 一子集之該等色彩資料元素;以及 一第二資料流(讀),其包含該條帶序列之至少該第 一子集之該等深度資料元素。 5.如請求項4之系統,其中該輸送流進—步包含: 一第三資料流(U06),其包含該條帶序列之至少該第 一子集之位置資料元素。 6·如請求項4之系統,其中在—資料流(簡、13〇4)内所編 馬之條π序列係在—掃描方向上編碼且該序列產生器係 配置用以在該資料流〇3〇2、13〇4)内添加填充資料:素 以在垂直於該掃描方向之—方向上對齊在該第—資料流 …亥第—貧料流之至少—者内的空間相鄰資料元素。 7·如β求項1或H統’其中該等色彩資料it素係以-第 解析度來表π且該等深度資料元素係以—第二解析度 來:示且其中該第-解析度之X分量或y分量之至少―: 係而於該第二解析度者。 8_如請求項1或4之系統’其中: ,在各條帶内所包含之色彩及深度資料元素係分組成色 %及深度資料元素之元組; 在各條帶内所包含之色彩及深度資料元素係置於 距格柵上;以及 荨 0亥位置賁料元素指示在該主檢視畫面内沿一 該條帶之表面輪廓資訊之一位置。 方向 140146.doc 201004313 9_如請求項4之系統,其中該輸送流進一步包含以下至少 一者: -資料流’其包含該條帶序列之至少一第二子集之該 等色彩資料元素; 貝料々IL ’其包含該條帶序列之至少該第二子集之該 等深度資料元素;以及 貝料/;,L ’其包含該條帶序列之至少該第二子集之該 等位置資料元素; 其中π亥第一子集與該第二子集係不相連的。 10·:種用於使用表示來自—主檢視畫面之一三維場景之一 信號來呈現一影像的呈現系統(150),其包含: 一輸入(152),其用於接收包含一條帶序列(135〇)的該 信號’該條帶序敎義來自該主檢視畫面之該三維場景 之表示之至 > 部分,各條帶表示一矩形影像資訊區域, °亥〜像貝吼包含定義該矩形區域之一色彩、一深度 (1208)及一位置(121〇)之資料元素,其中 s用於各條帶之該等色彩及深度資料元素係導出自在該 場景内的至少-物件之表面輪廓資訊(1102); 該位置貢料元素係導出自在該主檢視畫面内的該至少 物件之表面輪廓資訊之位置以及 °亥條▼序列之至少一條帶(1204)表示選自在該場景内 、 ’ 物件之一遮叙區域或一側區域的該至少一物 件之表面輪廓資訊以及 〜像產生器(154),其用於使用該條帶序列來呈現對 140146.doc 201004313 應於一另外檢視晝面的影像。 11. 如請求項1〇之呈現系統,其中該影像產生器係配置用於 使用該條帶序列來產生對應於複數個立體檢視畫面之複 數個立體影像。 12. —種用於使用表示來自一主檢視畫面之一三維場景之— 信號來顯示一影像的顯示系統,其包含: 如請求項10或11之一呈現系統且 一顯示器(156),其用於顯示該呈現的影像。 13. —種表示來自一主檢視畫面之一三維場景的信號 (13 00) ’該信號包含一條帶序列(135〇),該條帶序列定 義來自該主檢視畫面之該三維場景之表示之至少部分, 各條帶表示-矩形影像資訊區域,其包含定義該矩形區 域之一色彩、一深度(12〇8)及一位置〇21〇)之資料元 素,其中 曰用於各條帶之該等色彩及深度資料元素係導出自在該 %景内的至少一物件之表面輪廓資訊〇丨〇2); 該位置資料元素係導出自在該主檢視晝面内的該至少 一物件之表面輪廓資訊之位置以及 該條帶序列之至少一條帶(12〇4)表示選自在該場景内 的垓至少一物件之一遮蔽區域或一側區域的該至少一物 件之表面輪廓資訊。 14. 種產生表不來自一主檢視畫面之一三 (1300)的方法(1〇〇),其包含: 維場景之一信號 產生一條帶序列(1350) 該條帶序列定義來自該主檢 140146.doc 201004313 視畫面之該三維場景之表示之至少冑分K条帶表示一 矩形影像資訊區域,其包含定義該矩形區域之—色:、 一深度(1208)及一位置(121〇)之資料元素,其中 ’ 用於各條帶之該#色彩及深度資料元素係_出自在該 %景内的至少一物件之表面輪廓資訊〇1〇2) ; ^ 該位置資料元素係導出自在該主檢視畫面内的該至少 一物件之表面輪廓資訊之位置以及 Χ夕條帶序列之至少一條帶(12〇4)表示選自在該場景 〇至y物件之一遮敝區域或一側區域的該至少一 之表面輪廓資訊;以 產生包含該條帶序列之一視訊信號。 15.如請求項14之方法,其進_步包含: 接收如從多個檢視畫面所看見的該至少一物件之複數 針對垓複數個影像之像素建立深度資訊歪斜該複數個視點之影像 該等色彩、深度及位置資料 視畫面指示色彩、深度及位 列。 資訊至該主檢視晝面,包括 元素,使得獲得依據該主檢 置之貢訊用於產生該條帶序 16. —種使用表示來自一主檢視晝面之一 來呈現一影像的方法,其包含: 二維場景之一信號 安收W -條帶序列(135G)的該信號,該條帶序列 義來自該主檢視畫面之該三維場景之表示之至少部分 各條帶表示—矩形影像資訊區域,其包含定義該矩二 140146.doc 201004313 一 ’朱度(12〇8)及一位置(1 2 1 〇)之資料元 用於各條帶之該等色彩及深度資料元素係導出 場景内的—物件之表面輪廓資訊(1102); 該位置資料元素係導出自在該主檢視畫面 之表面輪廓資訊之位置以及 该條帶序列之至少一條帶(12〇4)表示選自在該場景内 的該至)—物件之一遮蔽區域或一側區域的該物件 面輪廓資訊以及 之表 使用該條帶序列來呈現對應於該主檢視晝 17. 域之—色彩 素,其中 在該 内的該物件 一锸φ 息茚之影像。 檀電腦程式產品’其包含機器可讀取指令用於引起至 ’處理器實行如請求項14至1 6中任一項之方、'去。 140146.doc
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08157420 | 2008-06-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201004313A true TW201004313A (en) | 2010-01-16 |
Family
ID=41066024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098118075A TW201004313A (en) | 2008-06-02 | 2009-06-01 | Video signal with depth information |
Country Status (7)
Country | Link |
---|---|
US (1) | US20110074924A1 (zh) |
EP (1) | EP2297971A1 (zh) |
JP (1) | JP2011523743A (zh) |
KR (1) | KR20110025796A (zh) |
CN (1) | CN102047669B (zh) |
TW (1) | TW201004313A (zh) |
WO (1) | WO2009147581A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI482085B (zh) * | 2011-02-03 | 2015-04-21 | Intel Corp | 用於柵格化之串流壓縮的方法及設備、和非暫態性電腦可讀取媒體 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2460360A1 (en) * | 2009-07-27 | 2012-06-06 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
KR20110064722A (ko) * | 2009-12-08 | 2011-06-15 | 한국전자통신연구원 | 영상 처리 정보와 컬러 정보의 동시 전송을 위한 코딩 장치 및 방법 |
US9571811B2 (en) * | 2010-07-28 | 2017-02-14 | S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. | Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content |
WO2012034113A2 (en) * | 2010-09-10 | 2012-03-15 | Stereonics, Inc. | Stereoscopic three dimensional projection and display |
JPWO2012128069A1 (ja) * | 2011-03-18 | 2014-07-24 | ソニー株式会社 | 画像処理装置および画像処理方法 |
KR101917764B1 (ko) | 2011-09-08 | 2018-11-14 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 입체 영상 표시 방법 |
WO2013049388A1 (en) | 2011-09-29 | 2013-04-04 | Dolby Laboratories Licensing Corporation | Representation and coding of multi-view images using tapestry encoding |
KR101482828B1 (ko) * | 2011-12-21 | 2015-01-14 | 인텔 코오퍼레이션 | 압축되지 않은 비디오 인터커넥트들 상의 송신을 위한 이미지 데이터의 지각적 무손실 압축 |
CN105612742A (zh) * | 2013-10-14 | 2016-05-25 | 皇家飞利浦有限公司 | 重新映射深度图以用于3d观看 |
CN110910482B (zh) * | 2019-11-29 | 2023-10-31 | 四川航天神坤科技有限公司 | 视频数据组织调度的方法、***及可读存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5864342A (en) * | 1995-08-04 | 1999-01-26 | Microsoft Corporation | Method and system for rendering graphical objects to image chunks |
US6064424A (en) | 1996-02-23 | 2000-05-16 | U.S. Philips Corporation | Autostereoscopic display apparatus |
US6574360B1 (en) * | 1999-07-23 | 2003-06-03 | International Business Machines Corp. | Accelerated occlusion culling using directional discretized occluders and system therefore |
US6791541B1 (en) * | 2002-07-11 | 2004-09-14 | Microporous Products, L.P. | Three-dimensional image system |
CN100551083C (zh) * | 2003-01-20 | 2009-10-14 | 三洋电机株式会社 | 立体观察用图像提供方法和立体图像显示装置 |
IL157877A0 (en) * | 2003-09-11 | 2004-03-28 | Imagine It S Happening Ltd | Color edge based 3d scanner |
KR101095392B1 (ko) * | 2003-09-17 | 2011-12-16 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 3-d 영상 디스플레이 스크린상에 3-d 영상들을렌더링하는 시스템 및 방법 |
US7015926B2 (en) * | 2004-06-28 | 2006-03-21 | Microsoft Corporation | System and process for generating a two-layer, 3D representation of a scene |
JP4047870B2 (ja) * | 2005-04-18 | 2008-02-13 | 日本電信電話株式会社 | 3次元表示装置 |
US8879823B2 (en) | 2005-06-23 | 2014-11-04 | Koninklijke Philips N.V. | Combined exchange of image and related data |
US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
WO2007105215A2 (en) * | 2006-03-14 | 2007-09-20 | Prime Sense Ltd. | Depth-varying light fields for three dimensional sensing |
EP2618102A2 (en) * | 2006-11-21 | 2013-07-24 | Mantisvision Ltd. | 3d geometric modeling and 3d video content creation |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
CN101257641A (zh) * | 2008-03-14 | 2008-09-03 | 清华大学 | 基于人机交互的平面视频转立体视频的方法 |
CN101287143B (zh) * | 2008-05-16 | 2010-09-15 | 清华大学 | 基于实时人机对话的平面视频转立体视频的方法 |
CN101287142A (zh) * | 2008-05-16 | 2008-10-15 | 清华大学 | 基于双向跟踪和特征点修正的平面视频转立体视频的方法 |
-
2009
- 2009-05-27 KR KR1020107029871A patent/KR20110025796A/ko not_active Application Discontinuation
- 2009-05-27 CN CN2009801206329A patent/CN102047669B/zh not_active Expired - Fee Related
- 2009-05-27 WO PCT/IB2009/052225 patent/WO2009147581A1/en active Application Filing
- 2009-05-27 US US12/993,865 patent/US20110074924A1/en not_active Abandoned
- 2009-05-27 JP JP2011511150A patent/JP2011523743A/ja not_active Ceased
- 2009-05-27 EP EP09757932A patent/EP2297971A1/en not_active Withdrawn
- 2009-06-01 TW TW098118075A patent/TW201004313A/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI482085B (zh) * | 2011-02-03 | 2015-04-21 | Intel Corp | 用於柵格化之串流壓縮的方法及設備、和非暫態性電腦可讀取媒體 |
Also Published As
Publication number | Publication date |
---|---|
KR20110025796A (ko) | 2011-03-11 |
EP2297971A1 (en) | 2011-03-23 |
WO2009147581A1 (en) | 2009-12-10 |
JP2011523743A (ja) | 2011-08-18 |
CN102047669A (zh) | 2011-05-04 |
US20110074924A1 (en) | 2011-03-31 |
CN102047669B (zh) | 2013-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201004313A (en) | Video signal with depth information | |
JP5544361B2 (ja) | 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム | |
JP4740135B2 (ja) | 3次元画像ディスプレイの画面に3次元画像を描画するシステム及び方法 | |
Mueller et al. | View synthesis for advanced 3D video systems | |
US7689031B2 (en) | Video filtering for stereo images | |
JP4861309B2 (ja) | 2.5dグラフィックスをレンダリングするためのゴースト・アーチファクト削減 | |
Muller et al. | Reliability-based generation and view synthesis in layered depth video | |
JP5734867B2 (ja) | 画像ベースの3dビデオフォーマット | |
CN102197415B (zh) | 用于提供场景的分层深度模型的方法和装置 | |
US20140198182A1 (en) | Representation and Coding of Multi-View Images Using Tapestry Encoding | |
EP2347597B1 (en) | Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal | |
CN113243112B (zh) | 流式传输体积视频和非体积视频 | |
US8723920B1 (en) | Encoding process for multidimensional display | |
JP2022533754A (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
Ruijters et al. | IGLANCE: transmission to medical high definition autostereoscopic displays | |
Lu et al. | Medical image visualization using true 3D display technology |