TW200842759A - Rendering 3D video images on a stereo-enabled display - Google Patents

Rendering 3D video images on a stereo-enabled display Download PDF

Info

Publication number
TW200842759A
TW200842759A TW097100484A TW97100484A TW200842759A TW 200842759 A TW200842759 A TW 200842759A TW 097100484 A TW097100484 A TW 097100484A TW 97100484 A TW97100484 A TW 97100484A TW 200842759 A TW200842759 A TW 200842759A
Authority
TW
Taiwan
Prior art keywords
view
foreground
background
scene
dimensional
Prior art date
Application number
TW097100484A
Other languages
English (en)
Inventor
Hao-Hong Wang
Hsiang-Tsun Li
Sharath Manjunath
Yingyong Qi
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW200842759A publication Critical patent/TW200842759A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

200842759 九、發明說明: 【發明所屬之技術領域】 本揭示案大體上係關於電腦圖形領域,且更具體言之, 係關於用於在具備立體功能之顯示器上有效地呈現三維影 像的技術。 【先前技術】 立體聲視訊處理之計算複雜性為呈現三維圖形且具體言 之在低電力(亦即,電池供電)裝置(諸如,行動電話、個人
數位助理(PDA)裝置及類似物)中視覺效果三維場景及視訊 遊戲之主要因素。 一般而言,在具備立體功能之顯示器(例如,裸眼式立 體顯不器或戴眼鏡式立體顯示器)上呈現三維圖形中之困 難來自立體聲視訊處理的效率及真實性態樣。低電力裝置 之有限計算資源可使三維圖形之呈現為過度耗時的常式。 儘官相當可觀之努力致力於增加立體聲視訊處理之效能, 但將需要進一步改良。 口此在此項技術中需要用以在具備立體功能之顯示器 上有效地實施真實性增強之三維視訊影像的呈現之技術。 【發明内容】
本文中描述在具備立驶4 Q 爾立體功此之顯示器上有效呈現三維視 訊影像的技術。在一奮綠办丨士 , 貫^例中,在視訊資料之三維模型視 圖轉換期間,淘汰背對^兹目资土 ^ 月對硯察者的面。對於第一視圖(例 如,左視圖)而言,潠媒从^ 、擇性地界定對應於比預定深度臨限 值近地安置之場景元素的楚 乂曰 京的弟——前景面及對應於超出預定深 128208.doc 200842759 度:限值而安置之此等元素的第一背景面。對於第二視圖 而。’界定對應於比預定深度臨限值近地安置之場景元素 :二:前景面,而採用第一背景面作為第二背景面。針對 \ ^ &帛- ^景面及第二前景面判定照明。分別基 1刖不面及第一背景面而針對第一視圖執行螢幕映射 及#豕呈現4异且基於第二前景面及第—背景面而針對第 二視圖執行螢幕映射及場景呈現計算。
在種设計中,該方法用於在電池供電型裝置(諸如, 打動電話、行動電腦、視訊遊戲平臺或PDA裝置)之戴眼 、見式立體顯示⑨或裸眼式立體顯示器上視覺效果視訊影 像0 以下進一步詳細描述本發明之各種態樣及實施例。 【實施方式】 參看諸圖,圖1描繪一說明根據本發明之一實施例之用 於在具備立體功能之顯示器上呈現三維視訊影像的方法 100之流程圖。在例示性應用中,方法100用以減小在電池 供電(例如,低電力)裝置上顯示立體圖形之電力消耗及計 算複雜性且改良效能,且具體言之改良所視覺效果影像之 深度感及真實感。電池供電型裝置可包括(但非限制)行動 電話、行動電腦、視訊遊戲平臺或pda裝置。 方法100藉由自不同角度及觀察點視覺效果場景而產生 左眼及右眼之獨立視圖(亦即,左視圖及右視圖),其中藉 由呈現由觀察者之眼睛之間的眼距引起之雙眼視差而增強 深度感。視圖經選擇性地導向觀察者之左眼及右眼,且自 128208.doc 200842759 觀察者之觀點,左視圖與右視圖之間的視差增加深度感及 真實感。 對應於呈現左視圖及右視圖之方法步驟之序列分別表示 為103及105。下文中,字尾"A”及” B”用以在對用於呈現左 視圖及右視圖之經輸入視訊資料執行之處理之間進行區 分。說明性地,字尾”ΑΠ識別經執行以用於呈現左視圖的 方法步驟。 在各種實施例中,方法100之方法步驟以所描繪之次序 執行或此等步驟中之至少兩者或其部分可同時、並行或以 不同-人序執行。舉例而言,步驟14〇八及14〇Β或步驟16〇Α 及170Β可同時或並行執行,且可在步驟ΐ5〇Α之前執行步 驟152Α。热習此項技術者將易瞭解,執行以下論述之其他 方法步驟、處理或常式中之至少一部I的次序亦可加以修 改。 在步驟110 A,針對左視圖執行經輸入視訊資料之三維模 型視圖轉換。在三維模型視圖轉換常式_,觀察者面向 三維世界座標系統之z維度而位於中心處,且場景中之幾 何物件被映射至左視圖面(亦即,三角形面)中。 在步驟12GA,為了冑省計算f源且因而增加視訊處理之 效率,將背對觀察者之面(亦即,觀察者不可見之面)自待 用於呈現左視圖之面的資料庫淘汰或移除。 在步職130A,另字剩餘左視圖面(亦艮p,對應於觀察者之 左眼可見之場景之幾何物件之元素的面)分為兩種類別。 第一類別包括對應於比預戈深度臨限值z。近地安置之場景 128208.doc 200842759 元素的左視圖前景面(展示於圖2中)。相應地,第二類別包 括對應於超出預定深度臨限值而安置之場景元素的左視圖 背景面。 面之分類係基於以下觀察··場景中之幾何物件之間的視 差(如在左視圖及右視圖中之影像點之間以像素為單位所 量測的)隨著自觀察者至物件之距離增加而減小且最終在 此等物件距離觀察者足夠遠而安置時變為零。 可將深度臨限值心界定為距觀察者之最大距離,當藉由 觀察者之眼睛中之任一者觀察時,超出該深度臨限值心之 任何物件對應於相同像素(以下參看圖2詳細論述)。相應 地,如以下參看步驟17〇八及17叩所論述,可僅針對一個 視圖(本文中為左視圖)執行對超出深度臨限值2〇而安置之 物件之加蔭影(shading)。 在步驟U0A’執行照明處理以判定左視圖前景面及左視 圖背景面的色彩屬性。 在步驟150A ’執行三維至二維透視轉換以將左視圖前景 面投影於二維影像平面上。 在步驟152A,針對左視圖背景面執行三維至:維透視轉 在步驟祕’在二維影像平面中,針對左視圖執行勞幕 、射處理。螢幕映射處理縮放左視圖前景面及左視圖背景 2適配於顯示器之可見螢幕的大小,藉此移除在勞幕外 何物件或其部分。在步驟職期間,將對應於左視圖 ^面之螢幕㈣的資料之至少—部分選擇性地保存於各 128208. 200842759 別記憶體媒體(例如,隨機存取記憶體(RAM》中以將來用 於計算右視圖,如以下參看步驟16〇3所論述。 在步驟170A,針對左視圖執行螢幕呈現處理。螢幕呈現 處理包括以下計算常式中的至少一部分··⑴判定呈現左視 . 圖前景面及背景面之觀察者可見部分之像素亮度值的加蔭 影常式;(Π)判定並移除左視圖前景面及背景面之觀察者 不可見。P 为的 fe、藏面移去(Hidden Surface Removal ; HSR) 常式;(iii)將可見左視圖前景面及背景面轉化為左視圖物 • 彳面的紋理映射常式;及㈣選擇性地組合左視圖物件面 之像素以界定像素屬性的混合(blending)常式。 在步驟170A期間,將對應於左視圖背景面之螢幕呈現的 貝料之至少一部分選擇性地保存於記憶體媒體中以將來用 於計算右視圖中,如以下參看步驟17〇B所論述。 在步驟110B,針對右視圖執行經輸入視訊資料之三維模 型視圖轉換。使用步驟12()A&13()A之計算結果(藉由鍵接 馨 121A展不)’在轉換常式期間,三角形面之頂點以一方式 進打濾波,該方式限制條件為僅產生幾何物件之觀察者之 右眼可見的元素之右視圖前景面。共同地,此等右視圖面 • 制於比默深度臨限值地安置之場景元素。此外, • 採用左視圖背景面(在先前步驟舰界定)作為右視圖背景 面0 僅基於你】視圖(亦即,左視圖)淘汰背對觀察者之面減 小視訊資料處理量,但在某些情況下可在右視圖呈現中引 起近似誤差。然而,實驗及電㈣擬已μ 1㈣u 128208.doc 200842759 睛彼此之接近在多數應用中允許將此等錯誤維持於可接* 低位準。 在步驟140B,執行照明處理 J疋右視圖别景面之色彩 屬性。 在步驟15 0 B ’執行將古顏於旦 丁肝右視圖刚景面投影於二維影像平面 上之三維至二維透視轉換。
在步驟腦’在二維影像平面中’針對右視圖執行營幕 映射處理。步驟贿之螢幕映射處理縮放右視圖前景面以 適配顯示器之可見螢幕大小,且另外採用在步驟⑽A保存 之左視圖背景面之螢幕映射的計算結果作為右視圖背景面 的螢幕映射資料(使用鏈接161A展示)。在操作中,利用在 步驟160八期間執行之計算結果減小右視圖之螢幕映射處理 的資料處理量及計算複雜性。 在步驟170B,針對右視圖執行螢幕呈現處理。步驟 170B之螢幕呈現處理包括以下計算常式中的至少一部分: ⑴判定呈現右視圖前景面之觀察者可見部分之像素亮度值 的加蔭影常式;(ii)判定並移除右視圖前景面之觀察者不 可見部分的隱藏面移去(HSR)常式;(iii)採用在步驟17〇a 保存之螢幕呈現左視圖背景面之結果作為右視圖背景面的 螢幕呈現資料(展示為鏈接171A) ; (iv)將可見右視圖前景 面及可見左視圖背景面轉化為右視圖物件面的紋理映射常 式;及(v)選擇性地組合右視圖物件面之像素以界定螢幕像 素屬性的混合常式。 由於利用在步驟160A及170A執行之針對左視圖背景面 128208.doc 200842759 之計算的結果,因此進一步顯著地減小右視圖之螢幕呈現 處理之資料處理量及計算複雜性。 在步驟175,在圖框形成處理中使用步驟17〇八與17〇B之 混合常式之計算結果,含於經輸入視訊資料中之三維影像 視覺效果於裸眼式立體顯示器上。 或者,在步驟180,使用步驟17〇八與17〇3之混合常式之 結果’產生互補色(anaglyph)影像,且在步驟185,圖框形 成處理在戴眼鏡式立體顯示器上生成相應三維影像。
在操作中,以上論述之方法步驟循環地重複從而以立體 圖形之形式順序視覺效果含於經輸入資料流中的影像。 在例不性實施例中,方法1〇〇可以電腦程式產品形式實 鈿於硬體、权體、韌體或其任何組合中,該電腦程式產品 包含-或多個電腦可執行指+。當實施於軟體中時,電腦 私式產口口可儲存於電腦可讀媒體上或使用電腦可讀媒體來 傳輸A電腦可項媒體包括電腦儲存媒體及電腦通信媒 體。 ' 術語”電㈣存媒體"在本文巾係指適於儲存使得電腦執 打方法之指令的任何媒體。以實例說明之且並非限制,電 腦儲存媒體可包含固態記憶體裝置,包括電子記憶體裝置 (例如,ram、r〇m、咖瞧及類似物)、光學記憶 卿,緊密光碟㈣、數位化通用 :師記憶體裝置(例如,硬碟機、快閃罐、磁; ΠΓ=適於儲存電腦程式產品之其他記憶體裝 置,或此專e憶體裝置之組合。 128208.doc -12- 200842759 術浯’’電腦通信媒體,,在本文中係指適於使用(例如)經調 變之載波、光學信號、DC電流或AC電流及類似手段將電 腦耘式產品自一處傳輸至另一處的任何實體介面。以實例 說明之且並非限制,電腦通信媒體可包含雙絞線(twisted Wire pair)、印刷或扁平電纜、同軸電纜、光纖電纜、數位 用戶線(DSL)或其他有線、無線或光學串行或並行介面, 或其組合。 圖2展示一說明用於在圖1之方法100中使用之面分類程 序期間判定深度臨限值心的方法之示意圖2〇〇。詳言之, 圖2描繪觀察者之左(L)眼及右眼之視域2〇1L及2〇 1R、顯示 場景210中的三維點T (x,y,z)、投影平面2〇2及深度臨限 值Z〇 〇 可使用以下等式來計算觀察者之左(T1)眼及右(T2)眼之 三維點T(x,y,ζ)在投影平面2〇2上之投影點的座標丁丨及 T2 :
Λ τι 二 Xl
CA y 及 二 CB y, 等式(1) 等式(2) 其中A及B分別為觀察者之左眼及右眼之三維點T (X,y,z) 的模型視圖變換矩陣,且C為投影及螢幕映射矩陣。 當三維點T (X,y,Z)遠於深度臨限值ZG定位時,在投影平 面202中,投影點重疊。相應地,當三維點T (X,y,Z)近於 128208.doc 13 200842759 深度臨限值ζπ位時’投影點經水平移位,且在投影平面 逝中,&等·點之間的距離界定左視圖與右視圖之間的視 差州⑻,其巾取幻心及心水平座標。對於超 出涑度臨限值Ζΰ定位之三維點而言,視差大於1(亦即, Id|>l),且對應於左視圖及右視圖之像素重疊。 使用等式⑴及(2)且基於透視觀察之單調屬性(亦即,隨 著物件與觀察者之間的距離增加,物件單調地顯現為變 小),可藉由求解等式
等式(4) 且在等式⑷之m個解Zk之中選擇最大分量以用於所顯示場 景中之取樣頂點來計算深度臨限值z。,亦即,Vmax㈨, z2,…Xn〇’其中。當在三維模型視圖轉換(方法_^ 步驟UOA、11GB)期間產生之三角形面的所有頂點近於深
度臨限值Z。定位時,該三㈣面被分類為前景面,否則該 面被分類為背景面。 圖3展示適於使用圖!之方法⑽之例示性|置则的方塊 圖。說明地,裝置300(例如,行動電話、行動電腦、視訊 遊戲平臺、個人數位助理(PDA)裝置及類似物)包括一戴眼 鏡式立體顯示器或裸眼式立體顯示器31〇、一處理器MO、 一記憶體330、支援電路34〇、一輸入/輸出(ι/〇)模組35〇及 使用者控制360。 記憶體33〇(例如’動態隨機存取記憶體(dram)、硬碟 128208.doc -14· 200842759 機、緊密光碟(CD)或任何其他電子、磁性或光學電腦可讀 媒體)含有除其他程式碼之外的一程式碼,當藉由處理器 320執行時,該程式碼促進執行方法1〇〇。支援電路34〇共 同包括匯流排、電路及在一操作單元中整合裝置3〇〇之功 月b組件的裝置。視訊資料係經由輸入/輸出(1/〇)模組提 供至装置300且接著藉由處理器320予以處理,以在顯示器 310上產生立體圖形影像。
本揭不案之先前描述經提供以使熟習此項技術者能夠製 造或使用本揭示案。熟習此項技術者將易瞭解對本揭示案 之各種L改,且本文中界定之一般原理可應用至其他變化 而不背離本揭示案之精神或範疇。因&,本揭示案並非意 欲受限於本文中所述之實例,而是符合與本文中所揭示之 原理及新穎特徵一致的最廣泛範疇。 【圖式簡單說明】 圖1展示一說明用於在具備立體功能之顯示器上呈現三 維視訊影像之方法的流程圖。 圖2展示一說明用 於在圖1之方法中使用之分面分類程序 期間判定深度臨限值的方法之示意圖。 圖3展示適於使用圖1之方法之例示性裝置的方塊圖。 為了促進理解,除了可能添加字尾(在適當時)以區分相 同元件外,在任何可能虛p * 此處已使用相同參考數字表示對於圖 為通用的此等元件。出於續 # %忒明性目的,簡化圖式中之影像 且並未按比例繪示影傻。 預/月在無另外敍述的情況下,一 實施例之特徵或步驟可被有 散百矛J地併入至其他實施例中。 128208.doc -15· 200842759
【主要元件符號說明】 121A 鏈接 161A 鏈接 171A 鏈接 200 不意圖 201L 視域 201R 視域 202 投影平面 210 顯示場景 300 例示性裝置 310 戴眼鏡式立體顯示器或裸眼式立體顯示器 320 處理器 330 記憶體 340 支援電路 350 輸入/輸出(I/O)模組 360 使用者控制 L 左眼 R 右眼 T(x,y,z) 3D點 Z〇 深度臨限值 I28208.doc -16-

Claims (1)

  1. 200842759 十、申請專利範圍: 1· 一種用於在一具備立體功能之顯示器上呈現三維視訊影 像的方法,其包含: (a) 在視訊資料之三維模型視圖轉換期間: 淘汰背對一觀察者的面; 對於第視圖,界定對應於比一預定深度臨限 值近地安置之場景元素的第—前景面及對應於超出該臨 限值而安置之該等場景元素的第-背景面;及 _ _於—第二視圖’選擇性地界定對應於比該臨限 值近地安置之該等場景元素的第二前景面且採用該等第 一背景面作為第二背景面; (b) 針對該等第一前景面兮莖楚 ^ 一乂 則不面該4弟一背景面及該等第 一則景面判定照明; (c) 基於該擎笛 « -視面及該等第一背景面執行該第 視圖之螢幕映射及場景呈現計算;及 (d) 基於該蓉楚_ ^ • 。視圖之聲暮:别景面及該等第一背景面執行該第 鸯幕映射及場景呈現計算。 2.如請求項1 . ⑷中之至去、、中並行或同時執行該等步驟⑷至 至v兩者或其部分。 . 3·如請求項1之古、土 # 二視圖為-右視圖 4. 如請求们之方法 二視圖為-左視圖 5. 如請求項】之方法 法,八_該第一視圖為一左視圖且該第 其t該第一視圖為一右視圖且該第 其中該具備立體功能之顯示器為一 128208.doc 200842759 戴眼鏡式立體顯示器。 6.如請求項1之方法,其進-步包含: 產生一7?▲ 互補色影像。 7 · 如請长_ 、 —$ 6之方法,其中該具備立體功能之顯示器為一 裸眼式立體顯示器。 8 女^言青工 s • ^貝1之方法,其中該顯示器為一電池供電型裝置 的一部分。 9·如請求jgp
    之方法,其中該電池供電型裝置包含 行動電腦、一視訊遊戲平臺或一個人數位助理 電話 (PDA)裝置 '項1之方法’其中該步驟(b)進一步包含: °十异該等面之頂點的色彩屬性。 U·如睛求項1之方法,其中該步驟⑷進-步包含: 透視三 針對該等第一前景面及該等第一背景面執行一 維至二維轉換; 儲存該等第一背景面之該轉換的結果; 的觀察者可 一視圖的觀 執行一加蔭影常式以計算呈現該第一視圖 見°卩分之像素的亮度值; 執行一隱藏面移去(HSR)常式以移除該第 察者不可見部分;及 儲存該第一視圖之該HSR處理的結果。 12.如請求項!!之方法,其中該步驟⑷進—步包含. 針對該等第二前景面執行該透視三維至二維3韓 針對該等第一背景面調適該轉換的結果;、、、 128208.doc 200842759 執仃一加蔭影常式以計算呈現該第二視圖的該等觀察 者可見部分之像素的亮度值; 使用該第一視圖之該HSR常式的料結果移除該第二 視圖的該等觀察者不可見部分;及 汁算呈現該第二視圖的1亥等觀察者可見部A之像素的 免度值。 13. 一種包括一電腦可讀媒體之電腦程式產品,該電腦可讀 媒體具有使得一電腦藉由以下各項在一具備立體功能之 顯不器上呈現三維視訊影像的指令: (a)在視訊資料之三維模型視圖轉換期間: 淘汰背對一觀察者的面; 對於第一視圖,界定對應於比一預定深度臨限 值近地安置之場景元素的第一前景面及對應於超出該臨 限值而安置之該等場景元素的第-背景面;及 對於一第二視圖,選擇性地界定對應於比該臨限 值近地安置之該等場景元素的第:前景面且採用該等第 一背景面作為第二背景面; 一 S’針對該等第-前景面、該等第-背景面及該等第 二前景面而判定照明; (C)基於該等第一前景面及該等第一背景面執行該第 一視圖之榮幕映射及場景呈現計算;及 ⑷基於5亥等第二前景面及該等第-背景面執行該第 :視圖之螢幕映射及場景呈現計算。 ;在具備立體功能之顯示器上呈現三維視訊影 128208.doc 200842759 像的方法,其包含: ⑷針對一左視圖執行視訊資料之三維模型視圖轉換 以產生第一面; ㈨分離面向一觀察者的第—複數個該等第一面與背 對該觀察者之第二複數個該等第一面; (c)淘汰該第二複數個該等第一面; (:)在該第-複數個該等第—面中,分離對應於比一 預定深度臨限值近地安置之元素的第—前f面與對應於 超出該臨限值而安置之元素的第一背景面; ⑷針對-右視圖執行該視訊資料之三維模型視圖轉 換一二選擇性地產生比該臨限值近地安置之該等元素的 第二前景面,且採用該等第一背景面作為第二背景面; 一(:)旦針對該等第一前景面、該等第一背景面及該等第 一剷景面而判定照明; (g)基於該等第一前景面及該等第一背景面執行該左 視圖之螢幕映射及場景呈現計算;及 ⑻基於該等第二前景面執行該右視圖之螢幕映射及 場景呈現計算。 月求項14之方法,其中並行或同時執行該等步驟⑷至 (h)中之至少兩者或其部分。 16·如請求項14之方法,甘 、 八中該八備立體功能之顯示器為一 戴眼鏡式立體顯示器。 17·如請求項14之方法,其進一步包含: 產生一互補色影像。 128208.doc 200842759 、@求項17之方法’其中該具備立體功能之顯示器為-裸眼式立體顯示器。 19.如請^項14之方法,其中該顯示器為一行動電話、一行 甾 視訊遊戲平臺或—個人數位助理(PDA)裝置 的一部分。 20.如請求項14之方法, 計算該等面之頂點 21·如請求項14之方法, 針對該等第一前景 維至二維轉換;
    其中該步驟(f)進一步包含: 的色彩屬性。 其中該步驟(g)進一步包含: 面及該等第一背景面執行一透視三 儲存該等第-背景面之該轉換的結果; 執仃加陰影常式以計算呈現該左視圖的觀察者可見 ^分之像素的亮度值; 執行-隱藏面移去(職)常式以移除該左視圖 者不可見部分,·及
    儲存該左視圖之該HSR處理的結果。 22·如明求項21之方法,其中該步驟⑻進—步包含·· ::該等:二:景面執行該透視三維至二維轉換,· 、、該等第一为景面調適該轉換的結果; 執行一加蔭影常式以計算 現該右視圖的該等觀察者 J見部分之像素的亮度值; 使用該左視圖之該騰常式的該 的該等觀察者不可見部分;& 移除該右視圖 計算呈現該右視圖的該等觀察者可見部分之像素的亮 I28208.doc 200842759 度值。 23. -種包括一電腦可讀媒體之電腦程式產品,該電腦可讀 媒體具有使得一電腦藉由以下各項在一具備立體功能之 顯不器上呈現三維視訊影像的指令: ⑷針對-左視圖執行視訊資料之三維模型視圖轉換 以產生第一面; (b) 刀離面向一觀察者的第一複數個該等第一面與背 對該觀察者之第二複數個該等第一面; (c) 淘汰該第二複數個該等第一面; ()在.亥第複數個該等第一面中,分離對應於比一 預疋咏度臨限值近地安置之元素的第—前景面與對應於 超出該臨限值而安置之元素的第一背景面; ()針對右視圖執行該視訊資料之三維模型視圖轉 換’以選擇性地產生比該臨限值近地安置之該等元素的 第二前景面,且採用該等第一背景面作為第二背景面; (二)針對該等第-前景面、料第—f景面及該等第 二前景面而判定照明; 、(g)基於該等第一前景面及該等第一背景面執行該左 視圖之螢幕映射及場景呈現計算;及 (h)基於該等第二前景面執行該右視圖之螢幕映射及 場景程現計算。 種用於在一具備立體功能之顯示器上呈現三維視訊影 像的設備,其包含: ' 一具備立體功能之顯示器; 128208.doc 200842759 一處理器;及 一儲存一程式碼之記憶體’該程式碼具有使得該處理 器執行以下各項的指令· (a) 在視訊資料之三雉模型視圖轉換期間: 淘汰背對一觀察者的面; 對於一第一視圖’界定對應於比一預定深度臨限 值近地安置之場景元素的第一前景面及對應於超出該臨 限值而安置之該等場景元素的第一背景面;及
    對於一第二視圖’選擇性地界定對應於比該臨限 值近地安置之該等場景元素的第二前景面且採用該等第 一背景面作為第二背景面; (b) 針對該等第一前景面、該等第一背景面及該等第 二前景面而判定照明; (C)基於該等第一前景面及該等第一背景面執行該第 一視圖之螢幕映射及場景呈現計算;及 (d)基於該等第二前景面及該等第—背景面執行該第 二視圖之螢幕映射及場景呈現計算。 Λ 2 =求項Μ之設備,其中並行或同時執行該等步驟⑷至 (d)中之至少兩者或其部分。 26·如請求項24之設備,纟中該第一視圖為—左視 二視圖為一右視圖。 27.如請求項24之設備’其中該第一視圖為—右視 二視圖為一左視圖。 •如明求項24之設備,其中該設備為一 圖且該第 圖且該第 行動電話、 行動 128208.doc 200842759 電腦、一視訊遊戲平臺或一個人數位助理(PDa)裝置。 A如請求項24之設備,其中該具備立體功能之顯示、器為一 戴眼鏡式立體顯示器或一裸眼式立體顯示器。 30.如請求項24之設備,其中該步驟(b)進一步包含: 計算該等面之頂點的色彩屬性。 3 L如凊求項24之設備,其中該步驟(c)進一步包含: 針對該等第一前景面及該等第一背景面執行一透視三 維至二維轉換; 儲存該等第一背景面之該轉換的結果; 執行-加_常式以計算呈現該第—視圖的觀察者可 I部分之像素的亮度值; 執行-隱藏面移去⑽R)常式以移除該第—視圖的觀 察者不可見部分;及 儲存該第一視圖之該HSR處理的結果。 32·如請求項之設備,其中該步驟⑷進_步包含: 針對該等第二前景面執行該透視三維至二維轉換; 針對該等第一背景面調適該轉換的結果; 執行-加㈣常式以計算呈現該第二視圖的該等觀察 考可見部分之像素的亮度值; :用該第一視圖之該職常式的該等結果移除該第二 圖的該等觀察者不可見部分;及 ^十算呈現該第二視圖的該等觀察者可見部分之像素的 壳度值。 33.—種用於在—具備立體功能之顯示器上呈現三維視訊影 128208.doc 200842759 像的方法,其包含: 換(:間在用於—第-視圖的視訊資料之三維模型視圖轉 判定第—前景面及第一背景面; 換Γ:用於—第二視圖的視訊資料之三維模型視圖轉 判疋弟二前景面及第二背景面; 淘故該等第二背景面;及 採用該等第一背景面; (c) 針對該等第一前景面及該等第- 篦一北旦工 寸罘—别景面以及該等 月厅、面而判定照明;及 (d) 基於該等第一前景面及該 、a^ 禾月景面執行該篥 一視圖之螢幕映射及場景呈現計算;及 (勾基於該等第二前景面及該等 - i目闰》欢# 月豕面執仃該第 一視圖之螢幕映射及場景呈現計算。 34. 如請求項33之方法,其 … 時執行料步驟(a)至 (e)中之至少兩者或其部分。 ) 35. 如晴求項33之方法 二視圖為一右視圖 其中該第-視圖為一右視圖且該 第 中該步 步包含以下各項 36·如請求項33之方法 二視圖為一左視圖 37·如請求項33之方法 中之至少一者: 淘汰背對一觀察者的面;及 128208.doc 200842759 淘汰對應於超出一預定深度臨限值而安置之場景元素 的面。 38. —種用於在一具備立體功能之顯示器上呈現三維視訊影 像的設備,其包含: 〜 一具備立體功能之顯示器; 一處理器;及 理 。一儲存一程式碼之記憶體’該程式碼具有使得該處 器執行以下各項的指令·· 視圖轉 (Μ在用於一第一視圖的視訊資料之三維模 換期間: ' 判定第一前景面及第一背景面; 轉 換I:間在用於一第二視圖的視訊資料之三維模型視圖 判定第二前景面及第二背景面; 沟故該等第二背景面;及 採用該等第一背景面; (Ο針對該等第一前景面及該等 第一昔旦& I罘一則景面以及該等 乐月不面而判定照明;及 (d) 基於該等第一前景面及該 一視圖之罄莫者承面執行該第 口之螢幕映射及場景呈現計算;及 (e) 基於該等第二前景面及該等 二視圖之罄墓此, 月豕面執行該第 之螢幕映射及場景呈現計算。 39·如請求項38之設備 ⑷中之U一 "仃次冋時執行該等步驟⑷至 I J Υ之至少兩者或其部分。 128208.doc 200842759 40. 如請求項38之設備,其中該第一視圖為一左視圖且該第 二視圖為一右視圖。 41. 如請求項38之設備,其中該第一視圖為一右視圖且該第 二視圖為一左視圖。 42. 如請求項38之設備,其中該步驟(a)進一步包含以下各項 中之至少一者: ’ 淘汰背對一觀察者的面;及 淘汰對應於超出一預定深度臨限值而安置之場景元素 φ 的面。 128208.doc -11 -
TW097100484A 2007-01-05 2008-01-04 Rendering 3D video images on a stereo-enabled display TW200842759A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/620,621 US7982733B2 (en) 2007-01-05 2007-01-05 Rendering 3D video images on a stereo-enabled display

Publications (1)

Publication Number Publication Date
TW200842759A true TW200842759A (en) 2008-11-01

Family

ID=39311082

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097100484A TW200842759A (en) 2007-01-05 2008-01-04 Rendering 3D video images on a stereo-enabled display

Country Status (7)

Country Link
US (1) US7982733B2 (zh)
EP (1) EP2122576A1 (zh)
JP (3) JP2010515974A (zh)
KR (1) KR101065230B1 (zh)
CN (2) CN105678836A (zh)
TW (1) TW200842759A (zh)
WO (1) WO2008086049A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080182647A1 (en) * 2007-01-26 2008-07-31 Cyberview Technology, Inc. 3D rendering of 2D legacy game assets
KR101545009B1 (ko) * 2007-12-20 2015-08-18 코닌클리케 필립스 엔.브이. 스트레오스코픽 렌더링을 위한 이미지 인코딩 방법
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
KR101631514B1 (ko) * 2009-11-19 2016-06-17 삼성전자주식회사 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
US20120307006A1 (en) * 2010-01-22 2012-12-06 Sony Corporation Receiving apparatus, transmitting apparatus, communication system, receiving apparatus control method, and program
US8860716B2 (en) * 2010-10-13 2014-10-14 3D Nuri Co., Ltd. 3D image processing method and portable 3D display apparatus implementing the same
KR101090981B1 (ko) * 2011-05-09 2011-12-08 주식회사 쓰리디누리 3차원 영상신호 처리방법 및 이를 구현하는 휴대형 3차원 디스플레이 장치
WO2012117729A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
US9578299B2 (en) * 2011-03-14 2017-02-21 Qualcomm Incorporated Stereoscopic conversion for shader based graphics content
US8797620B2 (en) 2011-12-20 2014-08-05 Ergophos, Llc Autostereoscopic display assembly based on digital semiplanar holography
CN102819400A (zh) * 2012-08-14 2012-12-12 北京小米科技有限责任公司 一种移动终端的桌面***及界面交互方法、装置
WO2015142936A1 (en) * 2014-03-17 2015-09-24 Meggitt Training Systems Inc. Method and apparatus for rendering a 3-dimensional scene
CN103995926B (zh) * 2014-05-15 2017-05-24 广东壮丽彩印股份有限公司 立体印刷无跳变图案的制作方法
US9946361B2 (en) * 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
KR102341267B1 (ko) 2015-05-04 2021-12-20 삼성전자주식회사 양안 시차 영상에 대한 렌더링 방법 및 장치
US9892141B2 (en) * 2015-12-10 2018-02-13 Microsoft Technology Licensing, Llc Extensibility of collectable data structures
EP3223524A1 (en) * 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
KR102658690B1 (ko) * 2019-11-04 2024-04-17 엘지전자 주식회사 이미지 변환 방법 및 장치
KR102466004B1 (ko) * 2022-05-11 2022-11-11 (주)라인테크 딥러닝 기술을 이용한 차선 도색시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232953A (ja) 1997-02-20 1998-09-02 Mitsubishi Electric Corp 立体視画像生成装置
JP3081589B2 (ja) * 1998-10-02 2000-08-28 日本電信電話株式会社 三次元表示方法および装置
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
US6771264B1 (en) 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6366370B1 (en) * 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
US6559844B1 (en) * 1999-05-05 2003-05-06 Ati International, Srl Method and apparatus for generating multiple views using a graphics engine
US6501471B1 (en) * 1999-12-13 2002-12-31 Intel Corporation Volume rendering
US20020154214A1 (en) 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
CN1358032A (zh) * 2000-12-14 2002-07-10 艾派克科技股份有限公司 可产生立体感的视频信号显示***
JP4729812B2 (ja) 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CA2361341A1 (en) 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images
JP4467267B2 (ja) * 2002-09-06 2010-05-26 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、画像処理装置、および画像処理システム
GB2394850A (en) 2002-10-29 2004-05-05 Nec Technologies A cell phone that can take stereo images
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US20070002130A1 (en) 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
KR100759393B1 (ko) 2005-06-29 2007-09-19 삼성에스디아이 주식회사 패럴랙스 배리어 및 이를 구비한 입체 영상 표시장치

Also Published As

Publication number Publication date
KR101065230B1 (ko) 2011-09-16
JP2010515974A (ja) 2010-05-13
JP2014063501A (ja) 2014-04-10
CN101583976A (zh) 2009-11-18
EP2122576A1 (en) 2009-11-25
US20080165181A1 (en) 2008-07-10
CN105678836A (zh) 2016-06-15
WO2008086049A1 (en) 2008-07-17
JP5536115B2 (ja) 2014-07-02
JP2012104144A (ja) 2012-05-31
US7982733B2 (en) 2011-07-19
KR20090085704A (ko) 2009-08-07

Similar Documents

Publication Publication Date Title
TW200842759A (en) Rendering 3D video images on a stereo-enabled display
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
CN101605270B (zh) 生成深度图的方法和装置
US8503764B2 (en) Method for generating images of multi-views
CN103440660B (zh) 一种基于gpu的集成成像微图像阵列快速生成方法
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
JPWO2014083949A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
WO2015196791A1 (zh) 双目三维图形渲染方法及相关***
US11830148B2 (en) Reconstruction of essential visual cues in mixed reality applications
US20130027389A1 (en) Making a two-dimensional image into three dimensions
CN102436671A (zh) 一种基于深度值非线性变换的虚拟视点绘制方法
KR100381817B1 (ko) 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
JP5304758B2 (ja) 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム
Cheng et al. 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System
CN101931825B (zh) 一种自由视角视频流中3d目标显示方法
Thatte et al. Real-World Virtual Reality With Head-Motion Parallax
KR20150098252A (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
TW202325016A (zh) 生成立體光場資料的電子裝置及方法
Nozick et al. Multi-view Rendering using GPU for 3-D Displays
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置
CN117918024A (zh) 环境捕捉与渲染
McAllister Stereo computer graphics
JPWO2020236460A5 (zh)
CN101923708A (zh) 深度图强化方法及其计算机可读媒体